亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

聯(lián)邦學習FedAvg中模型聚合過程的理解分析

 更新時間：2022年05月11日 11:51:13   作者：Cyril_KI  
這篇文章主要為大家介紹了FedAvg中模型聚合過程的理解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

問題

聯(lián)邦學習原始論文中給出的FedAvg的算法框架為：

在這里插入圖片描述

參數(shù)介紹： K 表示客戶端的個數(shù)， B表示每一次本地更新時的數(shù)據(jù)量， E 表示本地更新的次數(shù)， η表示學習率。

首先是服務器執(zhí)行以下步驟：

對每一個本地客戶端來說，要做的就是更新本地參數(shù)，具體來講：

  • 把自己的數(shù)據(jù)集按照參數(shù)B分成若干個塊，每一塊大小都為B。
  • 對每一塊數(shù)據(jù)，需要進行E輪更新：算出該塊數(shù)據(jù)損失的梯度，然后進行梯度下降更新，得到新的本地 w 。
  • 更新完后 w w w將被傳送到中央服務器，服務器整合所有客戶端計算出的 w，得到最新的全局模型參數(shù) wt+1
  • 客戶端收到服務器發(fā)送的最新全局參數(shù)模型參數(shù)，進行下一次更新。

我們仔細觀察server的最后一步：

聚合

那么針對聚合，就有以下兩種情況。

1. 聚合所有客戶端

服務器端每次將新的全局模型發(fā)送給全部客戶端，并且聚合全部客戶端的模型參數(shù)。如果客戶端未被選中，那么一輪通信結(jié)束后，該客戶端的模型為一輪通信開始時從服務器獲得的初始模型。

設當前全局模型為 wt，服務器選中了 m個客戶端（集合V），m個客戶端本地更新完畢后，服務器端的聚合公式為：

也就是說，每一次聚合時服務器端都將所有客戶端的模型考慮在內(nèi)。

2. 僅聚合被選中的客戶端

服務器每次只是將當前新的參數(shù)傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數(shù)。

設當前全局模型為 wt，服務器選中了 m 個客戶端（集合V），然后將wt?只發(fā)送給這 m個客戶端。 m m m個客戶端訓練完畢后，服務器端的聚合公式為：

3. 選擇

雖然原始論文中對所有K個客戶端都進行了聚合，但在真正實現(xiàn)時，感覺用第二種會更好一點，因為如果客戶端數(shù)量很龐大，每一次通信都會有不小的代價，用第二種會明顯降低通信成本。

以上就是FedAvg中模型聚合過程的理解分析的詳細內(nèi)容，更多關于FedAvg模型聚合的資料請關注腳本之家其它相關文章！

相關文章

最新評論