[發(fā)明專利]一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法

有效

• 申請?zhí)枺?/td>: 202110556962.5
• 申請日: 2021-05-21
• 公開（公告）號: CN113191504B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 何耶肖;李歡;章小寧;吳昊;范晨昱
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務(wù)所(普通合伙) 11870
• 代理人: 李林合

1.一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，包括以下步驟：

S1、初始化本地迭代次數(shù)、連續(xù)額外梯度計算次數(shù)、連續(xù)額外梯度計算次數(shù)閾值以及迭代總次數(shù)，并從服務(wù)器下載初始的全局模型參數(shù)；

S2、將本地迭代次數(shù)加1，判斷本地迭代次數(shù)是否滿足迭代總次數(shù)，若滿足則結(jié)束訓(xùn)練，否則進入步驟S3；

S3、將從服務(wù)器下載的最新的全局模型參數(shù)另存為本地模型參數(shù)，并結(jié)合本地數(shù)據(jù)集，利用BP算法進行梯度更新，得到梯度更新參數(shù)，并將該梯度更新參數(shù)上傳到服務(wù)器；

S4、判斷連續(xù)額外梯度計算次數(shù)是否滿足連續(xù)額外梯度計算次數(shù)閾值，若滿足則進入步驟S10，否則進入步驟S5；

S5、利用步驟S3得到的梯度更新參數(shù)更新本地模型參數(shù)，得到更新后的本地模型參數(shù)，并結(jié)合本地數(shù)據(jù)集，利用BP算法進行額外一輪的梯度更新，得到額外梯度更新參數(shù)；

S6、接收服務(wù)器下發(fā)的允許下載最新全局模型參數(shù)信號，并判斷額外梯度計算是否完成，若完成則進入步驟S7，否則進入步驟S9；

S7、從服務(wù)器下載最新的全局模型參數(shù)并復(fù)制得到全局模型參數(shù)副本，并利用步驟S5得到的額外梯度更新參數(shù)更新全局模型參數(shù)副本，并將連續(xù)額外梯度計算次數(shù)加1；

S8、根據(jù)最新的全局模型參數(shù)與更新后的全局模型參數(shù)副本對應(yīng)的損失函數(shù)值，重新確定最新的全局模型參數(shù)，返回步驟S2；

S9、立即停止額外梯度計算，從服務(wù)器下載最新的全局模型參數(shù)，并初始化連續(xù)額外梯度計算次數(shù)，返回步驟S2；

S10、初始化連續(xù)額外梯度計算次數(shù)，并接收服務(wù)器下發(fā)的允許下載最新的全局模型參數(shù)信號，下載最新的全局模型參數(shù)，返回步驟S2。

2.根據(jù)權(quán)利要求1所述的一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，所述梯度更新參數(shù)計算公式為：

其中，為梯度更新參數(shù)，為對目標(biāo)函數(shù)中的參數(shù)求導(dǎo)，為本地模型參數(shù)，z為本地數(shù)據(jù)集的數(shù)據(jù)樣本，Q為目標(biāo)函數(shù)。

3.據(jù)權(quán)利要求1所述的一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，所述額外梯度更新參數(shù)計算公式為：

其中，為額外梯度更新參數(shù)，為對目標(biāo)函數(shù)中的參數(shù)求導(dǎo)，為更新后的本地模型參數(shù)，z為本地數(shù)據(jù)集的數(shù)據(jù)樣本，Q為目標(biāo)函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，所述步驟S5中利用梯度更新參數(shù)更新本地模型參數(shù)的更新公式為：

其中，為梯度更新參數(shù)，η為訓(xùn)練步長，為本地模型參數(shù)，為更新后的本地模型參數(shù)。

5.根據(jù)權(quán)利要求4所述的一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，所述步驟S7中利用額外梯度更新參數(shù)更新全局模型參數(shù)副本的更新公式為：

其中，為額外梯度更新參數(shù)，w_s′為全局模型參數(shù)副本，w_s^*為更新后的全局模型參數(shù)副本。

6.根據(jù)權(quán)利要求2所述的一種面向計算資源異構(gòu)的聯(lián)邦學(xué)習(xí)訓(xùn)練加速方法，其特征在于，所述步驟S8具體為：

判斷最新的全局模型參數(shù)w_s與更新后的全局模型參數(shù)副本w_s^*分別對應(yīng)的損失函數(shù)值loss(w_s)與loss(w_s^*)大小，若最新的全局模型參數(shù)w_s的損失函數(shù)值loss(w_s)小于更新后的全局模型副本w_s^*損失函數(shù)值loss(w_s^*)，則舍棄更新后的全局模型副本w_s^*，否則將更新后的全局模型副本w_s^*作為最新的全局模型參數(shù)w_s，并返回步驟S2。