[發明專利]一種用于橫向聯邦學習的模型融合方法及系統

在審

• 申請號: 202210498743.0
• 申請日: 2022-05-09
• 公開（公告）號: CN115034356A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 武星;裴潔
• 申請（專利權）人: 上海大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明涉及橫向聯邦機器學習領域，公開了一種用于橫向聯邦學習的模型融合方法及系統。本發明中，首先，云服務器初始化全局服務模型以及所需的超參數，每個終端用戶設備利用本地數據進行模型訓練，得到更新的本地模型。其次，云服務器的仲裁調度模塊，利用壓縮策略選出最佳的本地網絡模型，授權相應的終端用戶設備節點上傳本地局部模型到云服務器，以及根據仲裁激勵機制制定模型融合策略。最后，云服務器聚集上傳的終端用戶設備模型，根據融合策略計算得到全局模型。本發明解決了橫向聯邦學習技術中，終端設備與云服務器頻繁傳遞模型參數所導致的高通信開銷，保證數據和模型的安全性，并提高模型融合的性能。

技術領域

本發明涉及一種基于橫向聯邦學習的模型融合方法及系統，用于解決聯邦學習技術中云服務節點與終端用戶節點模型融合成全局模型所導致的模型劣化問題，屬于橫向聯邦學習領域。

背景技術

機器學習作為人工智能領域的一個重要理論，被廣泛應用于數據挖掘、語音識別和計算機視覺等各個領域。機器學習網絡模型需要經過訓練完成后得到最終模型才能投入使用。

終端用戶設備計算能力有限，現有機器學習網絡模型通過采用云服務的方式在云端完成訓練。終端用戶設備含有的圖片、音頻或者文本數據，需要集中上傳至云服務中心來訓練模型。然而，一方面這種方式需要較高的通信帶寬來上傳數據和較高的存儲空間來管理數據，另一方面終端用戶數據在上傳過程中存在泄密的風險，上傳的真實數據也容易泄露其隱私。從長遠來看，這阻礙了機器學習技術的落地和應用。

為了保護終端用戶設備的隱私數據，強化模型的學習能力，聯邦學習應運而生。在聯邦學習框架中，終端設備無需上傳本地數據至云服務器，而只需共享本地訓練的模型。云服務器收集終端用戶設備的模型進行融合得到全局模型，經過多次迭代計算后得到最終的完備模型。然而在現有的橫向聯邦學習技術中，終端用戶設備與云服務器之間需要頻繁傳遞模型參數，導致較高的通信開銷。

發明內容

本發明要解決的技術問題是：在現有的橫向聯邦學習技術中，終端用戶設備與云服務器之間需要頻繁傳遞模型參數，導致較高的通信開銷。

為了解決上述技術問題，本發明的一個技術方案是提供了一種用于橫向聯邦學習的模型融合方法，其特征在于，包括以下步驟：

步驟S1：初始化全局云服務器節點，包括構建全局服務模型后，初始化全局模型參數ω₁，從而獲得用于進行第一輪迭代的全局服務模型W₁，初始化迭代輪次t＝1；

步驟S2：全局云服務器節點將第t迭代的全局服務模型W_t下發至設備節點集合U＝{u₁,u₂,…,u_i,…,u_m}中的每個終端用戶設備節點，由每個終端用戶設備節點利用本地數據對模型進行局部模型訓練，從而得到第t輪迭代的局部模型集合并計算得到第t輪迭代時局部模型集合中每個局部模型的模型訓練損失，其中，u_i表示第i個終端用戶設備節點，i＝1,2,…,m，表示第i個終端用戶設備節點訓練得到第t輪迭代的第i個局部模型；

步驟S3：全局云服務器節點中的仲裁調度模塊收集各終端用戶設備節點上傳的模型訓練損失，進而獲得第t輪迭代的模型訓練損失集合L^t，仲裁調度模塊基于模型訓練損失集合L^t從局部模型集合M中選出最佳的K個局部模型，將K個局部模型所對應的各終端用戶設備節點重新定義為策略節點，則所有策略節點構成的第t輪迭代的策略節點集合表示第t輪迭代的第k個策略節點；全局云服務器節點授權各策略節點上傳本地局部模型；

步驟S4：全局云服務器節點根據融合策略S_e，基于各策略節點上傳的第t輪迭代時的局部模型的模型參數，采用平均融合算法或者自適應融合算法計算第t輪迭代時的全局模型參數ω_t；