[發(fā)明專利]基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法、系統(tǒng)及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210190627.2
• 申請(qǐng)日: 2022-02-28
• 公開（公告）號(hào): CN114565103A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 楊樹森;任雪斌;趙鵬;周子昊;李亞男;吳帥君
• 申請(qǐng)（專利權(quán)）人: 杭州卷積云科技有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 張宇鴿

1.基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法，其特征在于，包括：

步驟1、初始化訓(xùn)練參數(shù)并廣播當(dāng)前的迭代次數(shù)和模型參數(shù)，初始化模型參數(shù)w₀、學(xué)習(xí)率η₀、迭代次數(shù)itr＝0、每輪參與模型更新的學(xué)習(xí)者的數(shù)目K、模型損失閾值ε_loss＞0和角相似度閾值sim_min∈(0，1]，將當(dāng)前的迭代次數(shù)j＝itr和當(dāng)前的模型參數(shù)w_j進(jìn)行廣播；

步驟2、接收當(dāng)前的模型參數(shù)w_j和當(dāng)前的迭代次數(shù)j，然后本地隨機(jī)抽取批數(shù)據(jù)，利用接收的模型參數(shù)w_j訓(xùn)練抽取的批數(shù)據(jù)計(jì)算梯度，當(dāng)完成本地訓(xùn)練后，將計(jì)算結(jié)果和接收的迭代次數(shù)進(jìn)行上傳，并停止本地訓(xùn)練，等待接收新的模型參數(shù)和迭代次數(shù)，而未完成本地訓(xùn)練的學(xué)習(xí)者繼續(xù)進(jìn)行本地訓(xùn)練；

步驟3、在第j輪全局迭代中，接收上傳的梯度和對(duì)應(yīng)的迭代次數(shù)，接收到的第i個(gè)梯度定義為g(w_j，i，ξ_j，i)，對(duì)應(yīng)的迭代次數(shù)定義為itr_j，i，并根據(jù)當(dāng)前的全局迭代次數(shù)j計(jì)算第i個(gè)梯度的延時(shí)τ_j，i；當(dāng)接收K個(gè)學(xué)習(xí)者上傳的梯度后，進(jìn)行聚合梯度；

步驟4、在第j輪全局迭代中，K個(gè)學(xué)習(xí)者上傳的梯度{g(w_j，i，ξ_j，i)，i＝1，…，K}分別累積歷史梯度得到累積梯度

步驟5、裁剪K個(gè)累積梯度，得到并賦予各個(gè)梯度與延時(shí)程度呈負(fù)相關(guān)關(guān)系的權(quán)重并聚合梯度得到估計(jì)梯度

步驟6、當(dāng)模型收斂到最優(yōu)解鄰域時(shí)，即損失值低于提前設(shè)定的閾值時(shí)，模型進(jìn)入第二階段，繼續(xù)裁剪梯度；

步驟7、分別計(jì)算K個(gè)累積梯度與估計(jì)梯度的角相似度，根據(jù)角相似度賦予各個(gè)梯度相應(yīng)的權(quán)重，并聚合得到最終的聚合梯度g(w_j)；

步驟8、根據(jù)K個(gè)梯度的最小延時(shí)自適應(yīng)調(diào)整學(xué)習(xí)率；

步驟9、在聚合一致性梯度和調(diào)整學(xué)習(xí)率后，更新全局模型w_j+1＝w_j-η_jg(w_j)和迭代次數(shù)j←j+1，然后將更新后的全局模型和迭代次數(shù)進(jìn)行廣播；

步驟10、迭代更新，重復(fù)步驟1到步驟9，直至損失值達(dá)到設(shè)定的閾值，模型收斂。

2.根據(jù)權(quán)利要求1所述的基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法，其特征在于，所述步驟1、步驟3、步驟4、步驟5、步驟6、步驟7、步驟8和步驟9為云端的工作，所述步驟2為學(xué)習(xí)者的工作；

步驟1中，將當(dāng)前的迭代次數(shù)j＝itr和當(dāng)前的模型參數(shù)w_j進(jìn)行廣播具體為：將當(dāng)前的迭代次數(shù)j＝itr和當(dāng)前的模型參數(shù)w_j廣播給所有的學(xué)習(xí)者；

步驟2中，將計(jì)算結(jié)果和接收的迭代次數(shù)進(jìn)行上傳，具體為：將計(jì)算結(jié)果和接收的迭代次數(shù)上傳至云端；

步驟9中，將更新后的全局模型和迭代次數(shù)進(jìn)行廣播，具體為：將更新后的全局模型和迭代次數(shù)進(jìn)行廣播給參與上一輪聚合的學(xué)習(xí)者。

3.根據(jù)權(quán)利要求2所述的基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法，其特征在于，所述步驟3中，在第j輪迭代中，云端接收到的第i個(gè)梯度定義為g(w_j，i，ξ_j，i)，其中w_j，i為延時(shí)模型，ξ_j，i為得到該梯度所抽取的批數(shù)據(jù)，對(duì)當(dāng)前迭代輪次和接收到的迭代次數(shù)作差可得第i個(gè)梯度的延時(shí)τ_j，i。

4.根據(jù)權(quán)利要求2所述的基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法，其特征在于，所述步驟4中，在第j輪迭代中，分別將接收到的K個(gè)梯度累積第(j-1)輪的估計(jì)的無偏梯度即

其中，α∈[0，1)是一個(gè)常數(shù)。