2000字范文,分享全网优秀范文,学习好帮手!
2000字范文 > 论文阅读:SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

论文阅读:SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

时间:2019-10-11 16:29:49

相关推荐

论文阅读:SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

10、

11、文中指出当客户端之间的数据集为异构(non-iid)数据的话,那么他们在模型训练过程中,一些客户端会带偏整个系统的收敛结果,图中,黑色点是全局模型,也就是每个训练轮次各个局部模型的“训练起点”,假设在某一轮训练中,服务器选择了client1和client2两个客户端来训练,然后client1是偏离整个系统的客户端,那么在客户端上训练三个轮次中,我们可以看到client1上的局部模型已经偏离了训练的方向(所在的方向),然后聚合得到的server model也会稍微偏离,使得系统向着偏离学习模型的方向上收敛。最终的结果不是造成整个系统的性能下降就是导致整个系统收敛缓慢

12、使用控制变量后的结果:

文章内容:

实验结果:

附录:

参考文献:

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。