[發明專利]一種用于異構數據的聯邦學習方法及系統

在審

• 申請號: 202210143482.0
• 申請日: 2022-02-16
• 公開（公告）號: CN114611718A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張勇;張曌
• 申請（專利權）人: 蘇州網智通科技有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F9/50
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

本發明提供一種用于異構數據的聯邦學習方法及系統，所述方法的步驟包括，在每個節點端的計算模型進行本地訓練，基于訓練數據集計算交叉熵損失值，基于當前節點端的計算模型本次迭代的模型參數值及其他節點端的計算模型在前一次迭代的模型參數值，計算模型參數差異值；基于模型參數差異值和交叉熵損失值計算損失函數值；基于損失函數值完成本地訓練；基于第一模型參數和初始模型參數計算第一參數差，將第一參數差進行數據壓縮，得到第二參數差，第二參數差上傳至服務器端進行平均聚合處理，得到第三參數差，將第三參數差進行數據壓縮得到第四參數差并傳輸至節點端；基于第四參數差更新初始模型參數為第二模型參數，完成本輪訓練。

技術領域

本發明涉及聯邦學習技術領域，尤其涉及一種用于異構數據的聯邦學習方法及系統。

背景技術

傳統的集中式深度學習系統已經不能有效地處理來自海量用戶的私有數據。聯邦學習是一種高效的分布式深度學習/機器學習訓練方法，它允許通過交換本地訓練模型參數來建立全局模型，同時保證訓練數據不離開本地設備，從而實現隱私保護，降低通信成本。因此，聯邦學習可以為分布式學習系統提供一種新的解決方案，具有隱私和效率優勢。

但是聯邦學習在實際應用場景中仍然面臨兩大挑戰:(1)由于采集數據的統計異質性，分布式訓練數據可能是跨設備的非獨立同分布數據集，聯邦學習對于非獨立同分布(異構)數據的處理性能較獨立同分布(同構)數據顯著下降。(2)智能設備的通信帶寬有限，進一步降低聯邦學習的通信開銷具有挑戰性。

目前，聯邦學習在處理異構數據時面臨著性能顯著下降的問題，一種解決方法是通過創建一個在所有邊緣設備之間全局共享的數據子集來提升聯邦學習在非獨立同分布的訓練數據上的性能，但該方法需要共享數據，將導致數據隱私的泄露。另一種方法是利用特征融合來解決非獨立同分布問題，聚合本地和全局模型的特征，提升聯邦學習在異構數據上的性能，但由于本地模型漂移抑制了全局模型的學習，因此對于異構程度較高的訓練數據的性能提升能力仍然有限。

發明內容

鑒于此，本發明實施例提供了一種用于異構數據的聯邦學習方法，以消除或改善現有技術中存在的一個或更多個缺陷。

本發明的一個方面提供了一種用于異構數據的聯邦學習方法，所述方法基于分布式架構，所述分布式架構包括服務器端和與服務器端相連接的多個節點端，所述方法的步驟包括，

在每個節點端對該節點端中的計算模型進行本地訓練，所述本地訓練包括至少一次迭代，在每次迭代的過程中基于每個預設節點端預設的訓練數據集計算交叉熵損失值，基于當前節點端的計算模型在本次迭代計算中的模型參數值以及其他節點端的計算模型在前一輪迭代計算中的模型參數值，計算模型參數差異值；

基于模型參數差異值和交叉熵損失值計算當前節點端的計算模型的損失函數值，所述損失函數值用于計算下一次迭代的模型參數值，以最后一次迭代計算出的損失函數值計算出的模型參數值為第一模型參數，完成本地訓練；

基于第一模型參數和當前節點端的計算模型代入第一次迭代計算的初始模型參數計算第一參數差，將計算模型中每個初始模型參數對應的第一參數差進行數據壓縮，得到第二參數差，所述第二參數差上傳至服務器端，將每個節點端上傳至服務器端的第二參數差進行平均聚合處理，得到第三參數差，將第三參數差進行數據壓縮，得到第四參數差，并將第四參數差傳輸至節點端；

基于所述第四參數差更新所述初始模型參數，得到第二模型參數，完成本輪訓練。

采用上述方案，本方法可以采用多輪訓練，上述步驟為單輪訓練的步驟，每輪訓練均能更新每個計算模型，在每輪訓練的本地訓練可以通過多次迭代計算完成，每次迭代計算損失函數值，能夠聯合本節點和其它節點的模型參數共同計算，使各本地訓練模型在保持對自身數據的學習能力的同時使各模型參數分布趨于一致，從而減少模型參數平均聚合時的隨機性，進而提升全局模型的性能，能夠有效地抑制本地模型的漂移，進而提高模型訓練性能。