边缘计算中的联邦学习:别让通信拖了后腿,边缘计算中的联邦学习:别让通信拖了后腿
目录先聊聊联邦学习为什么“慢”梯度压缩:少传一点会死吗?梯度稀疏化梯度量化周期性通信:能不能少传几轮?本地多步更新自适应通信频率模型结构优化:从源头瘦身知识蒸馏 + 联邦学习结构化剪枝 + 联邦学习通信协议层面的优化gRPC vs WebSocket vs MQTT差分压缩一个完整的实战案例去年年底,我在一个物联网项目里碰到了个头疼的问题。当时我们在做工业园区设备的状态预测,二十多个工控机分布在不同的车间,每个设备每天产生海量的振动和温度数据。数据不能传出来——客户明确说了,涉密。那就只能联邦学习。想法很美好,结果一跑起来,一个简单的模型训练,通信开销大得离谱,一个round就要传几百兆的梯度,带宽吃紧不说,延迟还特别高。当时团队里一个小伙子开玩笑说,“咱们这哪是联邦学习,这是联邦等死。”后来花了几个月时间,把各种优化手段挨个试了一遍,总算把通信开销压到了原来的十分之一左右。今天这篇文章,就把这些经验和坑都写出来,希望对遇到类似问题的朋友有点帮助。先聊聊联邦学习为什么“慢”如果你对联邦学习还比较陌生,我快速说一下核心流程:中央服务器先把模型分发给所有客户端,每个客户端用自己的本地数据训练,然后把更新后的梯度或参数传回服务器,服务器把这些东西聚合起来,更新全局模型。然后下一轮继续。听起来很简单对吧?问题就出在“传”这个字上。传统的深度学习模型,比如ResNet-50,光参数就
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2586895.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!