[發明專利]基于聯邦學習的模型訓練方法、系統、設備及存儲介質

有效

• 申請號: 202110945152.9
• 申請日: 2021-08-17
• 公開（公告）號: CN113469373B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 楊雷;李亞玲;梁原;李麗平
• 申請（專利權）人: 北京神州新橋科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/50
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 黃健

本公開實施例公開了一種基于聯邦學習的模型訓練方法、系統、設備及存儲介質，所述方法包括：集群內各節點設備基于參數服務器下發的初始參數和本地數據集進行模型訓練，并將各自的模型參數利用差分隱私算法添加噪聲后發送至集群內指定節點設備；各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值，并將所述簇心值發送至所述參數服務器，以使所述參數服務器利用同樣的所述軟聚類算法聚合得到更新后的簇心值。上述技術方案減少了與參數服務器通信的設備數量，另一方面，上傳的模型參數是經過軟聚類壓縮算法生成的簇心值，大大降低了上傳的模型參數數量，從而極大地降低了聯邦學習系統中通信流量的消耗，節省了資源。

技術領域

本公開涉及人工智能技術領域，具體涉及一種基于聯邦學習的模型訓練方法、系統、設備及存儲介質。

背景技術

聯邦學習致力于解決多用戶在不公開各自數據集的情形下，協同完成模型訓練的問題。例如在金融大數據建模場景中，各家銀行機構擁有不同的用戶樣本數據。由于各家銀行機構擁有的數據量有限，如果僅僅基于自身的數據來訓練模型，受樣本規模的限制，模型效果難以達到預期。如果能將各家數據聚合來訓練，則可以大幅提升模型精度。然而出于金融監管以及對用戶數據隱私保護的要求，銀行機構不可能將自身的用戶數據向任何第三方發布，直接將各家數據聚合到一起建模是行不通的。因此，聯邦學習技術應運而生，給銀行機構在不泄露自身原始數據的情形下，共同訓練機器學習模型提供了可能。

聯邦學習工作模式的主要過程是參數服務器與各個節點設備通過網絡進行多輪通信以進行模型參數或者模型梯度的聚合與交換，然而，由于通信次數過多和通信流量過大，通信延遲過大已經成為影響聯邦學習訓練效率的主要瓶頸。以擁有1M個參數的神經網絡模型為例，參數服務器首先需要每個終端學習設備通過本地數據樣本來更新模型參數，然后參數服務器再將更新參數匯總下發。如果每個參數占據4個字節的流量并且學習系統中存在1000個用戶，則每輪通信的上傳與下載流量均達到4GB，如果要進行100輪通信，則總通信量為800GB，如此高的通信流量將極大的消耗通信時間，并可能嚴重遲滯聯邦學習的訓練進度。如果考慮規模更大的神經網絡模型或者包含更多的學習用戶，則通信瓶頸對聯邦學習的限制將更為顯著。

發明內容

為了解決相關技術中的問題，本公開實施例提供一種基于聯邦學習的模型訓練方法、系統、設備及存儲介質。

第一方面，本公開實施例中提供了一種基于聯邦學習的模型訓練方法。

具體地，所述基于聯邦學習的模型訓練方法，包括：

將參與聯邦學習的節點設備預先劃分為若干集群；

集群內各節點設備基于參數服務器下發的初始參數和本地數據集進行模型訓練，并將各自的模型參數利用差分隱私算法添加噪聲后發送至集群內指定節點設備；

各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值，并將所述簇心值發送至所述參數服務器，以使所述參數服務器利用同樣的所述軟聚類算法聚合得到更新后的簇心值；

參與聯邦學習的節點設備接收所述參數服務器下發的所述更新后的簇心值，并更新各自的模型參數進行下一輪模型訓練，直到滿足訓練停止條件。

結合第一方面，本公開在第一方面的第一種實現方式中，所述集群的劃分條件至少包括以下一種或多種：

節點設備的地理位置、節點設備的隸屬關系、節點設備的網絡環境、節點設備的運算性能。

結合第一方面，本公開在第一方面的第二種實現方式中，所述各集群內指定節點設備利用軟聚類壓縮算法處理接收到的模型參數，生成聚類后的簇心值之前，還包括：

指定節點設備配置預設時間段，并將所述預設時間段內接收到的模型參數參與本次迭代。