[發明專利]一種基于模型離散度的聯邦學習訓練方法

在審

• 申請號: 202010527841.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111860581A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 朱洪波;周星光;趙海濤;陳志遠;于建國;劉洪久
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

1.一種基于模型離散度的聯邦學習訓練方法，其特征在于，具體步驟包括如下：

步驟(1.1)：各客戶端從中央服務器下載最新的共享模型；

步驟(1.2)：在隨機梯度下降算法下，客戶端使用基于本地訓練數據改進下載的共享模型,從而獲得本地模型；

步驟(1.3)：各客戶端基于本地模型的訓練結果計算出模型更新Δθ_m(t)和Δθ_m(t)的L₂范數||Δθ_m(t)||₂，并向中央服務器上傳||Δθ_m(t)||₂；

步驟(1.4)：中央服務器收集各客戶端發送的||Δθ_m(t)||₂，并根據||Δθ_m(t)||₂的大小從中選取前K個最大的||Δθ_m(t)||₂，并向K個||Δθ_m(t)||₂所對應的客戶端分配信道；

步驟(1.5)：對應的K個客戶端向中央服務器發送模型更新Δθ_m(t)；

步驟(1.6)：中央服務器將收集到的模型更新Δθ_m(t)進行加權平均，從而產生新的共享模型；

步驟(1.7)：重復上述步驟，直至模型收斂。

2.根據權利要求1所述的一種基于模型離散度的聯邦學習訓練方法，其特征在于，步驟(1.1)中所述最新的共享模型：是指一次客戶端模型更新的上傳到從中央服務器下載一次共享模型為一次通信輪的聯邦學習運算，中央服務器收集到所有的模型更新后，都會對上一輪的共享模型進行更新，更新后的共享模型可以被所有的客戶端下載。

3.根據權利要求1所述的一種基于模型離散度的聯邦學習訓練方法，其特征在于，步驟(1.2)中所述的本地訓練數據：是指訓練數據始終存儲在客戶端。

4.根據權利要求1所述的一種基于模型離散度的聯邦學習訓練方法，其特征在于，步驟(1.3)中所述的模型更新Δθ_m(t)：是指本地模型的損失函數的梯度更新。

5.根據權利要求1所述的一種基于模型離散度的聯邦學習訓練方法，其特征在于，步驟(1.5)中所述的K個客戶端：是指參與聯邦學習訓練的K個客戶，K的大小可根據中央服務器的運算處理能力和所處網絡的通信質量而定。