聯(lián)邦學(xué)習(xí)FedAvg中模型聚合過(guò)程的理解分析
問(wèn)題
聯(lián)邦學(xué)習(xí)原始論文中給出的FedAvg的算法框架為：
參數(shù)介紹： K 表示客戶端的個(gè)數(shù)， B表示每一次本地更新時(shí)的數(shù)據(jù)量， E 表示本地更新的次數(shù)， η表示學(xué)習(xí)率。
首先是服務(wù)器執(zhí)行以下步驟：
對(duì)每一個(gè)本地客戶端來(lái)說(shuō)，要做的就是更新本地參數(shù)，具體來(lái)講：
- 把自己的數(shù)據(jù)集按照參數(shù)B分成若干個(gè)塊，每一塊大小都為B。
- 對(duì)每一塊數(shù)據(jù)，需要進(jìn)行E輪更新：算出該塊數(shù)據(jù)損失的梯度，然后進(jìn)行梯度下降更新，得到新的本地 w 。
- 更新完后 w w w將被傳送到中央服務(wù)器，服務(wù)器整合所有客戶端計(jì)算出的 w，得到最新的全局模型參數(shù) wt+1
- 客戶端收到服務(wù)器發(fā)送的最新全局參數(shù)模型參數(shù)，進(jìn)行下一次更新。
我們仔細(xì)觀察server的最后一步：
聚合
那么針對(duì)聚合，就有以下兩種情況。
1. 聚合所有客戶端
服務(wù)器端每次將新的全局模型發(fā)送給全部客戶端，并且聚合全部客戶端的模型參數(shù)。如果客戶端未被選中，那么一輪通信結(jié)束后，該客戶端的模型為一輪通信開(kāi)始時(shí)從服務(wù)器獲得的初始模型。
設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m個(gè)客戶端（集合V），m個(gè)客戶端本地更新完畢后，服務(wù)器端的聚合公式為：
也就是說(shuō)，每一次聚合時(shí)服務(wù)器端都將所有客戶端的模型考慮在內(nèi)。
2. 僅聚合被選中的客戶端
服務(wù)器每次只是將當(dāng)前新的參數(shù)傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數(shù)。
設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m 個(gè)客戶端（集合V），然后將wt?只發(fā)送給這 m個(gè)客戶端。 m m m個(gè)客戶端訓(xùn)練完畢后，服務(wù)器端的聚合公式為：
3. 選擇
雖然原始論文中對(duì)所有K個(gè)客戶端都進(jìn)行了聚合，但在真正實(shí)現(xiàn)時(shí)，感覺(jué)用第二種會(huì)更好一點(diǎn)，因?yàn)槿绻蛻舳藬?shù)量很龐大，每一次通信都會(huì)有不小的代價(jià)，用第二種會(huì)明顯降低通信成本。
以上就是FedAvg中模型聚合過(guò)程的理解分析的詳細(xì)內(nèi)容，更多關(guān)于FedAvg模型聚合的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
C/S和B/S兩種架構(gòu)的概念、區(qū)別和聯(lián)系
這篇文章主要介紹了C/S和B/S兩種架構(gòu)的概念、區(qū)別和聯(lián)系,本位還同時(shí)講解了主流的Web程序應(yīng)用平臺(tái)、Web工作原理等內(nèi)容,需要的朋友可以參考下2014-09-09
卷積神經(jīng)網(wǎng)絡(luò)Inception?V3網(wǎng)絡(luò)結(jié)構(gòu)圖
這篇文章主要為大家介紹了卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)圖Inception?V3的結(jié)構(gòu)圖層詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
21 歲理工男開(kāi)源的這個(gè)編輯器火遍全球附面試資源
最近在 GitHub 上最火的項(xiàng)目是一個(gè)對(duì)視力友好的十六進(jìn)制編輯器，它上線僅 5 天就收獲了 2500 star，最近 24 小時(shí)漲了 1600 star 量,感興趣的朋友跟隨小編一起看看吧2020-12-12
關(guān)于爬蟲(chóng)和反爬蟲(chóng)的簡(jiǎn)略方案分享
這篇文章主要給大家介紹了一些關(guān)于爬蟲(chóng)和反爬蟲(chóng)的簡(jiǎn)略方案的相關(guān)資料，文中介紹的非常詳細(xì)，對(duì)大家理解和學(xué)習(xí)爬蟲(chóng)與反爬蟲(chóng)具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-01-01
聯(lián)邦學(xué)習(xí)FedAvg中模型聚合過(guò)程的理解分析
這篇文章主要為大家介紹了FedAvg中模型聚合過(guò)程的理解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
2020史上最全I(xiàn)DEA插件總結(jié)(推薦收藏)
這篇文章主要介紹了2020史上最全I(xiàn)DEA插件總結(jié)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
xmind?是一款功能強(qiáng)大、易用且具有豐富資源的思維導(dǎo)圖軟件，本文將為您介紹?xmind?的安裝和使用方法，包括基本功能、高級(jí)功能、專業(yè)版功能、使用技巧、常見(jiàn)問(wèn)題等，幫助您快速上手使用?xmind2023-04-04
JetBrains旗下有多款編譯器工具（如：IntelliJ、WebStorm、PyCharm等）在各編程領(lǐng)域幾乎都占據(jù)了壟斷地位。今天給大家分享大批IDEA?激活碼到期之后的亂象，大家可以參考下2020-07-07
vscode中l(wèi)aunch.json和task.json配置教程(重要參數(shù)詳解)
這篇文章主要給大家介紹了關(guān)于vscode中l(wèi)aunch.json和task.json配置(重要參數(shù)詳解)的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-04-04
將新型冠狀病毒轉(zhuǎn)二進(jìn)制的代碼（首發(fā)）
這篇文章主要介紹了新型冠狀病毒轉(zhuǎn)二進(jìn)制的相關(guān)知識(shí)，分為java，js，php，pthon等語(yǔ)言的實(shí)例代碼,需要的朋友可以參考下2020-02-02