[發明專利]一種基于參數替換算法的聯邦學習方法及系統

有效

• 申請號: 202011118491.1
• 申請日: 2020-10-19
• 公開（公告）號: CN112257105B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 陳武輝;朱凱銘;王軍波;胡延慶;鄭子彬
• 申請（專利權）人: 中山大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 蘇云輝

1.一種基于參數替換算法的聯邦學習方法，其特征在于，包括：

S0：初始化損失連續增大或穩定的最大輪次T_max、損失忽略閾值θ、當前損失連續增大或穩定輪次T_now、最佳損失值L_best及狀態標志位F的值；

S1：聚合服務器將起始參數發送給聯邦學習的參與者設備，所述參與者設備根據所述起始參數初始化本地模型；其中，所述參與者設備包括多個第一設備和第二設備，所述第一設備中的本地模型為第一模型，所述第二設備中的本地模型為第二模型；

S2：所述參與者設備根據各自的訓練集對本地模型進行訓練，得到本地模型參數；其中，訓練第一模型的訓練集為第一訓練集，訓練第二模型的訓練集為第二訓練集；所述本地模型參數包括第一模型參數和第二模型參數，所述第一模型參數是所述第一設備基于第一訓練集對所述第一模型訓練得到的，所述第二模型參數是所述第二設備基于第二訓練集對所述第二模型訓練得到的；

S3：所述第一設備將所述第一模型參數發送給所述聚合服務器和所述第二設備；

S4：所述第二設備根據接收到的第一模型參數初始化第二模型，執行狀態判斷，根據當前狀態的不同執行不同的上傳策略將參數上傳至所述聚合服務器；

執行狀態判斷的具體過程為：

若狀態標志位F為true，計算第二訓練集對第一模型參數的損失值作為第一損失L_now1，如果L_now1與L_best的差值小于θ或者L_now1L_best，則將T_now＝T_now+1；否則，將L_best的值設為L_now1，并將T_now1重置為0；當T_now≥T_max時，將F設為false，將T_now和L_best重設為初始化時的值；

若狀態標志位F為false，計算第二設備的測試集對第二模型參數的損失值作為第二損失L_now2，如果L_now2與L_best的差值小于θ或者L_now2L_best，則將T_now＝T_now+1；否則，將L_best的值設為L_now2，并將T_now2重置為0；當T_now≥T_max時，退出聯邦學習；其中，所述測試集為對第二模型訓練結果進行評估的數據集；

S5：聚合服務器對接收到的本地模型參數進行整合得到全局模型參數，將所述全局模型參數作為下輪的起始參數；

重復S1-S5直至所有第二設備退出聯邦學習。

2.根據權利要求1所述的基于參數替換算法的聯邦學習方法，其特征在于，所述第一設備為邊緣計算設備，所述第二設備為終端設備。

3.根據權利要求2所述的基于參數替換算法的聯邦學習方法，其特征在于，所述第一訓練集為公共數據集，所述第二訓練集為所述第二設備的私有數據集。

4.根據權利要求3所述的基于參數替換算法的聯邦學習方法，其特征在于，所述第二設備根據當前狀態的不同執行不同的上傳策略進行參數上傳的具體過程為：

若狀態標志位為True，將結果數組W_result的值設為第二模型參數，計算第二訓練集對第二模型參數的損失值作為第三損失L_now3，將第一模型參數和第二模型參數進行差值比較，將最大差值對應的第一模型參數值替換到結果數組中，直至L_resultL_now1-(L_now1-L_now3)/3；將結果數組作為參數上傳給聚合服務器；

若狀態標志位為False，則直接上傳第二模型參數。