[發明專利]一種基于模型遷移的高效聯邦訓練方法和裝置

在審

• 申請號: 202210402652.2
• 申請日: 2022-04-18
• 公開（公告）號: CN114666218A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 徐宏力;劉建春;許楊;王倫;王志遠
• 申請（專利權）人: 中國科學技術大學蘇州高等研究院
• 主分類號: H04L41/082
• 分類號: H04L41/082;H04L41/14;H04L41/16
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

本發明公開了一種基于模型遷移的高效聯邦訓練方法和裝置。其中，該方法包括：服務器將目標任務的全局模型分發至各本地客戶端；各本地客戶端對接收到的全局模型進行訓練，并在完成本地訓練后向服務器發送訓練完成信號；服務器基于預設算法確定本地模型遷移訓練策略并將遷移訓練策略下發給各本地客戶端；各本地客戶端根據遷移訓練策略將自身更新好的本地模型遷移到其他本地客戶端繼續進行訓練，并在執行完遷移訓練策略后將本地模型參數上傳至服務器。本發明通過將每個客戶端的本地模型在其他更多的客戶端節點上進行更新，實現了在邏輯上的獨立同分布數據集上訓練，提高了整體訓練性能并且做到快速收斂，減少了訓練輪數和網絡資源消耗。

技術領域

本發明實施例涉及機器學習技術領域，尤其涉及一種基于模型遷移的高效聯邦訓練方法和裝置。

背景技術

現有技術中，針對邊緣計算網絡中非獨立同分布數據和資源受限帶來的聯邦模型訓練性能下降問題已經提出了一些技術方案，主要包括以下幾種：

(1)為了解決邊緣計算網絡中由于非獨立同分布數據引起的模型訓練性能下降的問題，一些工作提出通過轉發全局的數據來讓每個工作節點能夠在邏輯上的大數據集上進行訓練，也就是說每個節點上的模型能夠在獨立同分布的數據集上進行訓練，以此來提高整體的訓練性能。(2)為了減少網絡中的通訊消耗，一些工作提出通過動態調節每個節點的本地訓練輪數，當網絡中資源比較豐富時，本地進行較少的訓練輪數即可上傳到遠程服務器進行全局更新；而當網絡中資源缺乏時，本地可以進行較多的訓練輪數后再進行上傳，這樣能夠節省網絡資源的同時也能保證聯邦模型訓練的性能。另外一些工作通過提出異步的訓練方式來節省網絡資源，也就是說服務器端不需要等收到所有的本地模型再進行全局更新，而是收到一個或者部分時就可以進行聚合，這樣的做法能夠大大減少網絡帶寬消耗，同時也能緩解因為某些訓練緩慢節點導致的全局等待問題。

然而上述現有技術方案，不能夠同時解決邊緣計算網絡中非獨立同分布數據和資源受限帶來的問題，往往只能解決其中某一項。例如，通過服務器將全局共享數據分發給所有的客戶端，往往造成非常大的網絡資源消耗；而所提出的減少資源消耗的方法，又不能很好地解決非獨立同分布數據帶來的模型訓練性能下降問題。

發明內容

為了解決現有技術中的問題，本發明提供一種基于模型遷移的高效聯邦訓練方法和裝置，通過將每個客戶端的本地模型在其他更多的客戶端節點上進行更新，從而實現在邏輯上的獨立同分布數據集上訓練，提高整體訓練性能，并且做到快速收斂，減少訓練輪數和網絡資源消耗。

第一方面，本發明實施例提供了一種基于模型遷移的高效聯邦訓練方法，包括：

S110、服務器將目標任務的全局模型分發至各本地客戶端；

S120、所述各本地客戶端對接收到的全局模型進行訓練，并在完成本地訓練后向所述服務器發送訓練完成信號；

S130、所述服務器基于預設算法確定本地模型遷移訓練策略并將所述遷移訓練策略下發給所述各本地客戶端；

S140、所述各本地客戶端根據所述遷移訓練策略將自身更新好的本地模型遷移到其他本地客戶端繼續進行訓練，并在執行完所述遷移訓練策略后將本地模型參數上傳至服務器。

可選的，所述服務器基于預設算法確定本地模型遷移訓練策略，包括：

所述服務器采用強化學習訓練DRL代理的方法確定本地模型遷移策略。

可選的，所述服務器采用強化學習訓練DRL代理的方法確定本地模型遷移策略，包括：

將所述各本地客戶端的數據分布、資源使用和訓練狀態作為輸入，輸出每一個動作的概率值，選取最高概率的動作以得到最優的本地模型遷移策略。

可選的，所述本地模型遷移策略中的參與遷移的本地客戶端數量小于聯邦訓練系統中所有的本地客戶端數量。