[發明專利]一種基于分層自適應的聯邦學習方法、裝置、設備及介質

在審

• 申請號: 202110921298.X
• 申請日: 2021-08-11
• 公開（公告）號: CN113705634A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 秦濤;惠維;楊和;丁菡
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 崔方方

本發明公開了一種基于分層自適應的聯邦學習方法、裝置、設備及介質，所述方法包括以下步驟：將待訓練模型劃分為淺層模型和深層模型；對淺層模型和深層模型進行同步聯邦訓練，獲得訓練好的淺層模型和深層模型；將訓練好的淺層模型和深層模型進行拼接，完成所述基于分層自適應的聯邦學習。本發明的聯邦學習方法，能夠統籌考慮并解決上述模型性能問題、通訊成本問題和數據隱私問題，經實驗驗證，本發明的聯邦學習方法與其他方法對比，在保證較高模型性能的同時，保持了較低的通訊量，同時提供數學嚴格的隱私保護。

技術領域

本發明屬于數據處理技術領域，涉及聯邦學習方法領域，特別涉及一種基于分層自適應的聯邦學習方法、裝置、設備及介質。

背景技術

隨著計算機技術的發展，人工智能在越來越多的領域得到廣泛應用。聯邦學習技術支持多個參與者在訓練數據集不出本地的前提下共同訓練一個模型，技能有效利用多方數據，又能一定程度地保障數據隱私，實現互利共贏。

現有的聯邦學習方法尚存在一些缺陷，具體包括：

1)各參與方的本地數據集在分布差異較大時，導致最終模型的預測性能相對于數據集中式訓練的性能有所下降，即模型性能問題。

2)各參與方參與訓練時，需要頻繁上傳和下載本地模型，導致通信量較大，通訊開銷成為訓練中無法忽略的成本，即通訊成本問題。

3)當某一參與方A通過信道監聽等手段獲得其他參與方B的本地模型或梯度時，A可以通過數學方法推斷出B的本地數據集，間接導致數據隱私泄露，即數據隱私問題。

現有技術無法統籌考慮上述三點，例如：針對1)的共享部分數據策略違背了數據隱私要求，針對2)的通信數據壓縮策略或者針對3)的梯度加噪/加密算法會加劇模型性能問題。

綜上，亟需一種新的基于分層自適應的聯邦學習方法、裝置、設備及介質。

發明內容

本發明的目的在于提供一種基于分層自適應的聯邦學習方法、裝置、設備及介質，以解決上述存在的一個或多個技術問題。本發明的聯邦學習方法，能夠統籌考慮并解決上述模型性能問題、通訊成本問題和數據隱私問題，經實驗驗證，本發明的聯邦學習方法與其他方法對比，在保證較高模型性能的同時，保持了較低的通訊量，同時提供數學嚴格的隱私保護。

為達到上述目的，本發明采用以下技術方案：

本發明第一方面提供的一種基于分層自適應的聯邦學習方法，包括以下步驟：

將待訓練模型劃分為淺層模型和深層模型；其中，所述淺層模型為所述待訓練模型中靠近其輸入端的前L層模型部分，所述深層模型為所述待訓練模型的剩余部分；

對淺層模型和深層模型進行同步聯邦訓練，獲得訓練好的淺層模型和深層模型；其中，基于若干第一類參與端，對所述淺層模型進行若干輪的聯邦訓練直到模型收斂為止，獲得訓練好的淺層模型；基于若干第二類參與端，對所述深層模型進行若干輪的聯邦訓練直到模型收斂為止，獲得訓練好的深層模型；第一類參與端與第二類參與端之間通過聚類分組的方式進行匹配；匹配到一起的第一類參與端與第二類參與端之間采用壓縮校正的方式進行數據傳輸；

將訓練好的淺層模型和深層模型進行拼接，完成所述基于分層自適應的聯邦學習。

本發明方法的進一步改進在于，所述通過聚類分組的方式進行匹配的具體步驟包括：

第一類參與端計算其本地數據集分布的信息熵H、本地數據集分布與均勻分布之間的KL散度D；

根據二元組(H，D)對第一類參與端進行k-means聚類，獲得多個集群；

從每個集群中隨機選擇若干第一類參與端標記為一個組，并將該組分配給一個第二類參與端；重復標記并分配，直至所有的第一類參與端都分配至第二類參與端。