[發明專利]一種聯邦學習系統及聯邦學習任務處理方法

在審

• 申請號: 202210872701.9
• 申請日: 2022-07-21
• 公開（公告）號: CN115169584A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 顧冉;程燁;葉薇薇;洪波;鄭思吉;梁少華
• 申請（專利權）人: 杭州煋辰數智科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣東凈陽知識產權代理事務所(普通合伙) 44854
• 代理人: 王肖穎

1.一種聯邦學習系統，其特征在于，包括：

數據處理模塊，用于收集和統計數據源以及數據量，并設定數據集參數，形成數據集生成模塊；

客戶端，用于基于數據集生成模塊計算節點間的交叉相似性以及訓練過程中不同模型間的相似性，形成模型權重與節點數據特征；

中心服務器端，用于接收客戶端發送來的模型的權重與節點數據特征，并根據聯邦平均算法從客戶端發送的網絡模型中生成全局模型，將全局模型下發至各個客戶端。

2.根據權利要求1所述的一種聯邦學習系統，其特征在于，

所述中心服務器端包括：

模型權重與節點數據特征接收模塊，用于中心服務器端在每一輪的訓練中接收參與訓練的客戶端發送的數據特征；中心服務器端接收到某個客戶端發來的網絡模型和數據特征后，關閉對該客戶端的監聽，在收到發來網絡模型和數據特征的客戶端數量達到參與訓練的客戶端總數之后，中心服務端結束等待接收的監聽狀態，開始全局模型的生成和準備開始下一輪的訓練；

全局模型生成模塊，用于將數據量的權重增加至全局模型的聚合過程中，在更新全局模型時，根據各客戶端節點擁有的數據量進行加權平均，在每一輪生成全局模型后，中心服務器端在測試集上評估全局模型的準確率、召回率和精確率，并在新一輪的訓練中將生成的全局模型發送至客戶端節點；

協調控制模塊，用于協調各客戶端的運行；以及用于控制中心服務器停止訓練，控制網絡模型和數據特征在中心服務器端和客戶端之間的傳輸。

3.根據權利要求2所述的一種聯邦學習系統，其特征在于，

所述協調控制模塊包括：

模型聚合子模塊，用于當客戶端節點接收到中心服務器端發送來的全局模型和節點數據特征時，才開始訓練，否則，客戶端節點將處于待機等待狀態；當每一輪的訓練結束時，中心服務器端若接收到所有參與該輪訓練的客戶端節點發送案例的網絡模型和數據特征時，開始模型聚合；

發送子模塊，用于當模型聚合結束后，中心服務器端開始新一輪的訓練，將新的全局模型和數據特征發送給各個客戶端階段。

4.根據權利要求1所述的一種聯邦學習系統，其特征在于，

所述客戶端包括：

客戶端訓練子模塊，用于構建底層神經網絡訓練模塊，接收中心服務器端發送的全局模型和其他節點的數據特征，結合本地模型利用交叉注意力機制進行客戶端個性化訓練；

上傳子模塊，用于將新一輪的數據特征和新生成的本地網絡模型上傳至中心服務器端；

底層神經網絡訓練模塊，用于將底層神經網絡AlexNet設置到各個客戶端節點上，在交叉注意力機制得出最終的個性化模型，使用該個性化模型在客戶端進行數據訓練；

交叉注意力機制模型，在客戶端的本地訓練中，將客戶端的特征作為待解決的問題，將其他客戶端的特征作為已存在的問題，將其他客戶端的網絡模型參數作為加權特征向量，通過交叉注意力機制計算該客戶端與其他客戶端節點的相似性，基于相似性計算得出個性化模型權重；將個性化模型權重作為新的待解決的問題，將個性化模型權重、本地模型權重和全局模型權重的線性組合作為新的已存在的問題和加權特征向量，進行第二次交叉注意力機制計算，得到最終聚合的客戶端個性化模型。

5.根據權利要求1所述的一種聯邦學習系統，其特征在于，

所述數據處理模塊包括：

數據源數據收集統計模塊，用于收集數據源并統計數據源的數據新型，包括訓練集數據量和測試集數據量，以及數據內容和數據新型記錄；

數據集參數設定模塊，采用分布式數據集設定數據集參數，所述數據集參數包括：節點數、數據量、數據量標準差、數據分布歐式距離、節點測試集數據量比例。

6.一種聯邦學習任務處理方法，其特征在于，包括：

S100，收集和統計數據源以及數據量，并設定數據集參數，形成數據集生成模塊；

S200，基于數據集生成模塊計算節點間的交叉相似性以及訓練過程中不同模型間的相似性，形成模型權重與節點數據特征；

S300，接收客戶端發送來的模型的權重與節點數據特征，并根據聯邦平均算法從客戶端發送的網絡模型中生成全局模型，將全局模型下發至各個客戶端。