[發明專利]一種用于橫向聯邦學習的模型融合方法及系統

在審

• 申請號: 202210498743.0
• 申請日: 2022-05-09
• 公開（公告）號: CN115034356A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 武星;裴潔
• 申請（專利權）人: 上海大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

1.一種用于橫向聯邦學習的模型融合方法，其特征在于，包括以下步驟：

步驟S1：初始化全局云服務器節點，包括構建全局服務模型后，初始化全局模型參數ω₁，從而獲得用于進行第一輪迭代的全局服務模型W₁，初始化迭代輪次t＝1；

步驟S2：全局云服務器節點將第t迭代的全局服務模型W_t下發至設備節點集合U＝{u₁，u₂，...，u_i，...，u_m}中的每個終端用戶設備節點，由每個終端用戶設備節點利用本地數據對模型進行局部模型訓練，從而得到第t輪迭代的局部模型集合并計算得到第t輪迭代時局部模型集合中每個局部模型的模型訓練損失，其中，u_i表示第i個終端用戶設備節點，i＝1，2，...，m，表示第i個終端用戶設備節點訓練得到第t輪迭代的第i個局部模型；

步驟S3：全局云服務器節點中的仲裁調度模塊收集各終端用戶設備節點上傳的模型訓練損失，進而獲得第t輪迭代的模型訓練損失集合L^t，仲裁調度模塊基于模型訓練損失集合L^t從局部模型集合M中選出最佳的K個局部模型，將K個局部模型所對應的各終端用戶設備節點重新定義為策略節點，則所有策略節點構成的第t輪迭代的策略節點集合表示第t輪迭代的第k個策略節點；全局云服務器節點授權各策略節點上傳本地局部模型；

步驟S4：全局云服務器節點根據融合策略S_e，基于各策略節點上傳的第t輪迭代時的局部模型的模型參數，采用平均融合算法或者自適應融合算法計算第t輪迭代時的全局模型參數ω_t；

步驟S5：全局云服務器節點對選定的K個局部模型采用仲裁激勵算法裁定出第t輪迭代時全局云服務器節點所需的融合策略S_e；

步驟S6：全局云服務器節點根據步驟S4得到的第t輪迭代時的全局模型參數ω_t更新全局服務模型，t←t+1，返回步驟S2，全局服務模型訓練進入下一輪迭代，直至全局服務模型收斂，模型訓練結束。

2.如權利要求1所述的一種用于橫向聯邦學習的模型融合方法，其特征在于，步驟S3中，所述全局云服務器節點根據K＝β·m計算需要篩選的模型個數K，β為預設的篩選因子，隨后從模型訓練損失集合L^t中挑選出K個最小的模型訓練損失所對應的局部模型。

3.如權利要求1所述的一種用于橫向聯邦學習的模型融合方法，其特征在于，步驟S4中，全局云服務器節點根據自適應融合算法計算第t輪迭代時的全局模型參數ω_t包括以下子步驟：

步驟S4-1-1：計算第t輪迭代的全局服務模型各層權重參數與各策略節點上傳的局部模型各層權重參數的差異性，其中，全局服務模型第l層權重參數ω^l與第k個策略節點上傳的局部模型第l層權重參數的差異性表示為則有：

式中，JS(·)表示詹森香農散度，KL(·)表示Kullback-Leible散度，||表示兩模型權重的相對熵；

步驟S4-1-2：計算第t輪迭代時各策略節點對于全局服務模型各層權重參數的貢獻度，其中，第k個策略節點對全局服務模型第l層權重參數ω^l的貢獻度為則有：

步驟S4-1-3：計算第t輪迭代時全局服務模型的各層權重參數，設第t輪迭代時全局服務模型的第l層權重參數表示為則有：

式中，η表示模型學習率，表示梯度算子，L(·)表示全局服務模型的損失。

4.如權利要求1所述的一種用于橫向聯邦學習的模型融合方法，其特征在于，所述步驟S5包括以下步驟：

步驟S5-1：全局云服務器節點計算得到第t輪迭代和第t-1輪迭代的損失差異Δ，Δ←|L(ω_t)-L(ω_t-1)|；

步驟S5-2，根據損失差異Δ計算全局云服務器節點所需的融合策略S_e，則有：

式中，∈是選定選擇平均融合算法還是自適應融合算法的損失閾值。