[發(fā)明專利]一種對抗通信噪聲的聯(lián)邦學(xué)習(xí)方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011078479.2
• 申請日: 2020-10-10
• 公開（公告）號: CN112235062A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 昂凡;陳力;陳曉輝;王衛(wèi)東
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: H04B17/391
• 分類號: H04B17/391;H04B1/10;G06N20/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 錢娜

本發(fā)明公開了一種對抗通信噪聲的聯(lián)邦學(xué)習(xí)方法和系統(tǒng)，方法包括：各個計算節(jié)點分別通過無線信道傳輸對應(yīng)的本地訓(xùn)練模型；中心節(jié)點將各個通過無線信道傳輸后的本地訓(xùn)練模型進行加權(quán)平均運算后，得到全局訓(xùn)練模型，并將全局訓(xùn)練模型通過無線信道廣播至各個計算節(jié)點；各個計算節(jié)點基于接收到的模型和損失函數(shù)進行梯度下降計算，直至收斂。本發(fā)明能夠通過對損失函數(shù)的設(shè)計，以表達噪聲對模型參數(shù)的影響，再利用梯度下降算法在本地訓(xùn)練，在中心端完成加權(quán)平均以實現(xiàn)聯(lián)邦學(xué)習(xí)，從而求解出最優(yōu)模型，并提高模型估計的準確度和降低模型訓(xùn)練的損失函數(shù)值。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種對抗通信噪聲的聯(lián)邦學(xué)習(xí)方法和系統(tǒng)。

背景技術(shù)

聯(lián)邦學(xué)習(xí)(Federated Learning)是一種運用在人工智能(ArtificialIntelligence)中的網(wǎng)絡(luò)模型訓(xùn)練技術(shù)。由于終端設(shè)備收集數(shù)據(jù)量的與日俱增，過去將所有數(shù)據(jù)傳輸至中心端并在中心端學(xué)習(xí)的方法將給網(wǎng)絡(luò)負載帶來巨大的負擔(dān)和個體數(shù)據(jù)計算的延遲。再加上對個體數(shù)據(jù)隱私的考慮，如何將這種中心端的學(xué)習(xí)過程交由個體自己完成成為未來研究的重要問題。因此，聯(lián)邦學(xué)習(xí)運營而生，其旨在保障數(shù)據(jù)交換時的信息安全、保護終端數(shù)據(jù)和個人數(shù)據(jù)隱私的前提下，在多計算結(jié)點之間開展高效率的機器學(xué)習(xí)。聯(lián)邦學(xué)習(xí)的主要思想是在邊緣計算設(shè)備的本地訓(xùn)練與在中央服務(wù)器更新本地模型的加權(quán)平均值的兩個步驟間迭代更新以獲取最優(yōu)的全局訓(xùn)練模型。聯(lián)邦學(xué)習(xí)的主要優(yōu)勢就是不需要原數(shù)據(jù)的上傳，讓訓(xùn)練學(xué)習(xí)的過程在本地完成，以此降低網(wǎng)絡(luò)傳輸?shù)呢撦d以及保障個體數(shù)據(jù)的隱私。聯(lián)邦學(xué)習(xí)有望成為下一代人工智能協(xié)同算法和協(xié)作網(wǎng)絡(luò)的基礎(chǔ)。

通信噪聲(Communication Noise)是通信中的一種對信號的干擾。噪聲的產(chǎn)生來源主要有信道的不完美估計、反饋量化的誤差以及信號采集的延遲等。在無線通信過程中，噪聲是不可避免的，如何降低噪聲對系統(tǒng)的干擾影響是無線通信研究的重要問題。

目前，隨著5G的興起與物聯(lián)網(wǎng)的高速發(fā)展，聯(lián)邦學(xué)習(xí)以其低數(shù)據(jù)傳輸量、隱私保護性好的優(yōu)點得到廣泛的應(yīng)用。而由于其在迭代更新過程中引入的通信噪聲，使得其迭代次數(shù)增長，模型估計的準確度下降。因此，如何解決噪聲帶來的影響顯得尤為重要。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種對抗通信噪聲的聯(lián)邦學(xué)習(xí)方法，能夠通過對損失函數(shù)的設(shè)計，以表達噪聲對模型參數(shù)的影響，再利用梯度下降算法在本地訓(xùn)練，在中心端完成加權(quán)平均以實現(xiàn)聯(lián)邦學(xué)習(xí)，從而求解出最優(yōu)模型，并提高模型估計的準確度和降低模型訓(xùn)練的損失函數(shù)值。

本發(fā)明提供了一種對抗通信噪聲的聯(lián)邦學(xué)習(xí)方法，包括：

各個計算節(jié)點分別通過無線信道傳輸對應(yīng)的本地訓(xùn)練模型；

中心節(jié)點將各個通過無線信道傳輸后的本地訓(xùn)練模型進行加權(quán)平均運算后，得到全局訓(xùn)練模型，并將所述全局訓(xùn)練模型通過無線信道廣播至各個計算節(jié)點；

各個計算節(jié)點基于接收到的模型和損失函數(shù)進行梯度下降計算，直至收斂。

優(yōu)選地，所述各個計算節(jié)點分別通過無線信道傳輸對應(yīng)的本地訓(xùn)練模型，包括：

N個計算節(jié)點分別通過無線信道傳輸本地訓(xùn)練模型w₁,w₂,...,w_N。

優(yōu)選地，所述中心節(jié)點將各個通過無線信道傳輸后的本地訓(xùn)練模型進行加權(quán)平均運算后，得到全局訓(xùn)練模型，包括：

對于第t次傳輸過程，所述中心節(jié)點基于公式得到全局訓(xùn)練模型，其中，Δw^t是本次無線信道傳輸帶來的噪聲，其滿足||Δw||²≤σ²，σ²為常數(shù)。

優(yōu)選地，對于第t次傳輸過程，第j個節(jié)點接收的模型為：

其中，是本次無線信道傳輸帶來的噪聲，其滿足為常數(shù)。