[發明專利]一種聯邦學習優化方法及裝置

在審

• 申請號: 202110665601.4
• 申請日: 2021-06-16
• 公開（公告）號: CN113435604A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 陳輝銘;李勇;金德鵬
• 申請（專利權）人: 清華大學
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 肖艷

本發明提供一種聯邦學習優化方法及裝置，該方法包括：在當前輪次的聯邦學習中，獲取服務器端發送的全局模型和延遲全局梯度，延遲全局梯度是由上一輪次聯邦學習中，每個客戶端基于各自本地數據對上一輪次的全局梯度進行更新得到的；基于當前輪次的全局模型和延遲全局梯度，通過本地數據對本地模型進行更新，得到聯邦學習更新量，聯邦學習更新量包括本地模型的更新量和延遲全局梯度的更新量；將聯邦學習更新量發送到服務器端，以供服務器端根據聯邦學習更新量進行信息聚合，得到新的全局模型和全局梯度，并將新的全局模型和全局梯度發送到每個客戶端，用于下一輪次的聯邦學習。本發明有效地克服模型偏差問題，提升通信效率、降低計算復雜度。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種聯邦學習優化方法及裝置。

背景技術

聯邦學習(Federated Learning)是指在數據分布于多個客戶端(例如邊緣設備、移動終端和服務器等)且不共享的情況下，跨越多個分散的客戶端進行聯合，建立預測模型的一種分布式機器學習范式，因此成為打破“數據孤島”、保障各參與方數據始終不出本地、能有效聚合各參與方信息的具有較大潛能的新方案。圖1為本發明提供的聯邦學習更新步驟的示意圖，可參考圖1所示，聯邦學習可基于傳統數據集中式云計算平臺的改進升級得到，從而各參與方無需將數據上傳至云端，僅將本地更新的模型上傳到服務器，即可完成大數據挖掘等人工智能任務，大幅度降低因云端不可信等因素導致的數據隱私泄露問題。因此，聯邦學習應用廣泛，典型的應用場景包括各大醫院在保障各自數據不出本地的基礎上，聯合進行醫療大數據挖掘等。在當前日趨嚴格的數據隱私保護法律法規背景下，聯邦學習為實現高性能人工智能技術提供了十分有前景的解決方案。

聯邦學習的核心技術為聯邦優化算法，目前廣泛采用聯邦平均(FederatedAveraging，簡稱FedAvg)算法，完成大規模客戶端聯合學習數據的任務。該算法的核心思想是在本地進行多次隨機梯度下降(Stochastic Gradient Descent，簡稱SGD)迭代，以實現本地模型的更新后，才將本地模型傳輸至中心服務器。因此，其相較傳統分布式梯度下降算法，提高了收斂速度并在一定程度上降低了通信開銷。但FedAvg算法存在模型偏差問題和通信開銷大的問題等，導致在實際應用中性能損失嚴重。目前，業界針對FedAvg算法存在的問題展開研究。FedPaq從量化和壓縮信息以減小過載的角度來提高通信效率，但該算法無法解決FedAvg算法存在的問題。而在FedProx算法中，從二次項約束的角度，限制本地模型與全局模型偏差較大等情況，但該算法在客戶端采樣和非獨立同分布數據(non-IID)下，性能損失依然嚴重。VRL-SGD和MFL算法分別從減小梯度方差和動量加速的角度出發，但這些算法不支持客戶端采樣這一更實際的場景設置。利用SCAFFOLD、Mime等算法，結合控制變量來緩解模型偏差問題，可大幅度提升算法性能，但控制變量更新緩慢，依然有較大的性能提升空間。由此可知，現有聯邦學習中模型偏差將會影響算法收斂速度，導致通信開銷增大，通信效率較低。

因此，如何合理設計具有低計算復雜度、穩定快速收斂和具有較強的克服模型偏差能力的聯邦優化算法是一個亟待解決的問題。

發明內容

針對現有技術存在的問題，本發明提供一種聯邦學習優化方法及裝置。

本發明提供一種聯邦學習優化方法，包括：

在當前輪次的聯邦學習中，獲取服務器端發送的全局模型和延遲全局梯度，所述延遲全局梯度是由上一輪次聯邦學習中，每個客戶端基于各自本地數據對上一輪次的全局梯度進行更新得到的；

基于當前輪次的全局模型和延遲全局梯度，通過本地數據對本地模型進行更新，得到聯邦學習更新量，所述聯邦學習更新量包括本地模型的更新量和延遲全局梯度的更新量；

將所述聯邦學習更新量發送到服務器端，以供服務器端根據所述聯邦學習更新量進行信息聚合，得到新的全局模型和全局梯度，并將新的全局模型和全局梯度發送到每個客戶端，用于下一輪次的聯邦學習。