[發明專利]一種聯邦學習系統及聯邦學習任務處理方法

在審

• 申請號: 202210872701.9
• 申請日: 2022-07-21
• 公開（公告）號: CN115169584A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 顧冉;程燁;葉薇薇;洪波;鄭思吉;梁少華
• 申請（專利權）人: 杭州煋辰數智科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣東凈陽知識產權代理事務所(普通合伙) 44854
• 代理人: 王肖穎

本發明公開了一種聯邦學習系統及聯邦學習任務處理方法，聯邦學習系統包括：數據處理模塊，用于收集和統計數據源以及數據量，并設定數據集參數，形成數據集生成模塊；客戶端，用于基于數據集生成模塊計算節點間的交叉相似性以及訓練過程中不同模型間的相似性，形成模型權重與節點數據特征；中心服務器端，用于接收客戶端發送來的模型的權重與節點數據特征，并根據聯邦平均算法從客戶端發送的網絡模型中生成全局模型，將全局模型下發至各個客戶端。

技術領域

本發明涉及聯邦學習技術領域，具體涉及一種聯邦學習系統及聯邦學習任務處理方法。

背景技術

聯邦機器學習(Federatedmachine learning/FederatedLearning)，又名聯邦學習，聯合學習，聯盟學習。聯邦機器學習是一個機器學習框架，能有效幫助多個機構在滿足用戶隱私保護、數據安全和法規的要求下，進行數據使用和機器學習建模。聯邦學習作為分布式的機器學習范式，可以有效解決數據孤島問題，讓參與方在不共享數據的基礎上聯合建模，能從技術上打破數據孤島，實現AI協作。

但是，在一些場景下，由于不同客戶端用戶的習慣偏好不同，客戶端上是數據存在異構性，而傳統的聯邦學習框架僅關注服務端的全局模型對客戶端訓練造成的影響，因此在實際應用中任存在極大的缺陷。

發明內容

本發明提供一種聯邦學習系統及聯邦學習任務處理方法，以解決現有技術中存在的上述問題。

本發明提供一種聯邦學習系統，包括：

數據處理模塊，用于收集和統計數據源以及數據量，并設定數據集參數，形成數據集生成模塊；

客戶端，用于基于數據集生成模塊計算節點間的交叉相似性以及訓練過程中不同模型間的相似性，形成模型權重與節點數據特征；

中心服務器端，用于接收客戶端發送來的模型的權重與節點數據特征，并根據聯邦平均算法從客戶端發送的網絡模型中生成全局模型，將全局模型下發至各個客戶端。

優選的，所述中心服務器端包括：

模型權重與節點數據特征接收模塊，用于中心服務器端在每一輪的訓練中接收參與訓練的客戶端發送的數據特征；中心服務器端接收到某個客戶端發來的網絡模型和數據特征后，關閉對該客戶端的監聽，在收到發來網絡模型和數據特征的客戶端數量達到參與訓練的客戶端總數之后，中心服務端結束等待接收的監聽狀態，開始全局模型的生成和準備開始下一輪的訓練；

全局模型生成模塊，用于將數據量的權重增加至全局模型的聚合過程中，在更新全局模型時，根據各客戶端節點擁有的數據量進行加權平均，在每一輪生成全局模型后，中心服務器端在測試集上評估全局模型的準確率、召回率和精確率，并在新一輪的訓練中將生成的全局模型發送至客戶端節點；

協調控制模塊，用于協調各客戶端的運行；以及用于控制中心服務器停止訓練，控制網絡模型和數據特征在中心服務器端和客戶端之間的傳輸。

優選的，所述協調控制模塊包括：

模型聚合子模塊，用于當客戶端節點接收到中心服務器端發送來的全局模型和節點數據特征時，才開始訓練，否則，客戶端節點將處于待機等待狀態；當每一輪的訓練結束時，中心服務器端若接收到所有參與該輪訓練的客戶端節點發送案例的網絡模型和數據特征時，開始模型聚合；

發送子模塊，用于當模型聚合結束后，中心服務器端開始新一輪的訓練，將新的全局模型和數據特征發送給各個客戶端階段。

優選的，所述客戶端包括：

客戶端訓練子模塊，用于構建底層神經網絡訓練模塊，接收中心服務器端發送的全局模型和其他節點的數據特征，結合本地模型利用交叉注意力機制進行客戶端個性化訓練；

上傳子模塊，用于將新一輪的數據特征和新生成的本地網絡模型上傳至中心服務器端；