[發明專利]一種面向異構任務需求的聯邦學習訓練系統及方法

在審

• 申請號: 202210823547.6
• 申請日: 2022-07-13
• 公開（公告）號: CN115345316A
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 周睿婷;王若貝;陳晶
• 申請（專利權）人: 武漢大學日照信息技術研究院
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種面向異構任務需求的聯邦學習訓練系統，其特征在于：包括中心服務器、客戶端；

所述中心服務器，根據聯邦學習的任務要求C、ε、α預估訓練總輪數K、每輪訓練選擇客戶端個數M、每輪訓練迭代次數τ三個控制參數的最優值，其中，C為完成任務要求的最長時長，ε是聯邦學習模型損失和最小損失之間的差值，α表示時間和精度重要性偏好的權重指標，α∈[0，1]；

所述中心服務器，從每輪的候選客戶端集IIk選出參與子集其中為0/1變量，表示本輪選擇該客戶端參與訓練，反之則表示本輪不選擇該客戶端；

所述中心服務器，以多種選擇準則作為優化目標，選擇變量作為決策變量建模得到0-1二次規劃問題，得到每輪客戶端選擇結果；

被選擇的客戶端，進行τ次迭代，使用本地數據訓練之后，將本地聯邦學習模型的參數更新上傳到中心服務器聚合，得到新一輪的全局聯邦學習模型；訓練過程持續K輪，最終達到差異化定制的任務目標。

2.一種面向異構任務需求的聯邦學習訓練方法，采用權利要求1所述面向異構任務需求的聯邦學習訓練系統；

其特征在于，包括以下步驟：

步驟1：根據聯邦學習的任務要求C、ε、α預估訓練總輪數K、每輪訓練選擇客戶端個數M、每輪訓練迭代次數τ三個控制參數的最優值；

步驟2：根據多種選擇準則從每輪的候選客戶端集II^k選出參與子集

所述多種選擇準則，包括歷史訓練有效性準則和數據有效性準則；

步驟3：以多種選擇準則作為優化目標，選擇變量作為決策變量建模得到0-1二次規劃問題，得到每輪客戶端選擇結果；

步驟4：被選擇的客戶端進行本輪訓練并上傳本地聯邦學習模型，在每輪訓練的最后，中心服務器首先選擇與當前全局聯邦學習模型最相關的前M個本地聯邦學習模型，然后在權重因子中加入精度因子進行聚合計算，得到新一輪的全局聯邦學習模型；

步驟5：訓練過程持續K輪，最終達到差異化定制的任務目標。

3.根據權利要求2所述的面向異構任務需求的聯邦學習訓練方法，其特征在于，步驟1的具體包括以下子步驟：

步驟1.1：根據任務要求及要求偏好，建模得問題P1；

P1：

subject to：

其中，表示K輪訓練完成后總時長的期望，表示K輪訓練完成后全局聯邦學習模型損失的期望；F(w^*)表示全局聯邦學習模型的最小損失，為定值；

步驟1.2：將問題P1重寫為顯示表達的整數優化問題P2；

第k輪的總訓練時間由計算時間和通信時間組成，用表示第k輪訓練中每輪迭代的計算時間，用表示第k輪訓練中的通信時間，則總訓練時間為：每輪的計算時間的近似表達為：

其中N表示可用客戶端總數，ΔC₁表示所有客戶端一輪迭代最長和最短計算時長之差，c₁表示所有客戶端中一輪迭代最短的計算時長，表示前K輪的平均通信時長；

使用收斂上界來表示K輪訓練之后全局聯邦學習模型能夠達到的精度水平：

其中A₁和A₂是兩個常數參數；

將由于隱式表達而不可求解的P1轉化為P2：

P2：

subject to：

步驟1.3：求解原問題P1的最優解；

將P2的整數約束(1c)放松為K，M，τ≥1，和M≤N，記放松后的問題為使用塊坐標下降算法BCD得到的分數最優解(K^*，M^*，τ^*)之后，將每個值分別向上向下取整，得到八種整數組合，再依次將八個解代入原問題P2即原問題P1中得出最優整數解(K^**，M^**，τ^**)。