[發明專利]一種聯邦學習模型訓練方法及系統

有效

• 申請號: 202110020651.7
• 申請日: 2021-01-08
• 公開（公告）號: CN112383396B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 邵俊;向愛平;洪城
• 申請（專利權）人: 索信達（北京）數據技術有限公司;深圳索信達數據技術有限公司
• 主分類號: H04L9/08
• 分類號: H04L9/08;H04L9/00;H04L9/30;H04L29/06;G06N3/08;G06K9/62
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 楊云

本發明公開了一種聯邦學習模型訓練方法及系統，其中方法包括：中央服務器將初始參數發送至各個節點設備；各個節點設備基于初始參數和本地數據集進行模型訓練，并獲得梯度值；中央服務器生成密鑰對，并將公鑰發送給各個節點設備；各節點設備采用所述公鑰對梯度值進行加密，獲得加密梯度；各節點設備通過點對點方式計算加密梯度和，并將加密梯度和發送至中央服務器；中央服務器通過私鑰對所述加密梯度和進行解密，獲得梯度和，并發送至各個節點設備；節點設備基于所述梯度和更新模型的參數，根據更新的參數以及本地數據集進行下一輪模型訓練，直到滿足訓練停止條件，該方法能夠保證所有參與方的隱私數據以及保證了模型訓練的精度。

技術領域

本申請涉及信息技術領域，尤其涉及一種聯邦學習模型訓練方法及系統。

背景技術

聯邦學習致力于解決多用戶在不公開各自數據集的情形下，協同完成模型訓練的問題。例如在醫療大數據建模場景中，各家醫院擁有不同的病人樣本數據。由于各家醫院擁有的數據量有限，如果僅僅基于自身的數據來訓練模型，受樣本規模的限制，模型效果難以達到預期。如果能將各家數據聚合來訓練，則可以大幅提升模型精度。然而出于醫院之間的競爭以及對病人數據隱私保護的要求，醫院不可能將自身的客戶數據向任何第三方發布，直接將各家數據聚合到一起建模是行不通的。因此，聯邦學習技術應運而生，給醫療機構在不泄露自身原始數據的情形下，共同訓練機器學習模型提供了可能。

共同訓練的模型可以是機器學習模型或神經網絡模型，通過協同訓練來找到模型合適的參數，使得總損失函數最小。通常會使用梯度下降方法來更新模型參數，即在給定了模型初始參數后，通過梯度信息一步步更新參數，直到損失函數的值達到最小。通過聯邦學習，參與方之間不需要共享原始數據，而只需要基于自身數據建模，并將梯度信息傳送出去，通過各家梯度信息更新參數即可完成模型訓練。

然而雖然各成員之間不會共享數據，而僅僅通過將梯度值傳給中央服務器，并由中央服務器計算出梯度和并傳送給各節點，以完成模型訓練。然而該中央服務器存在通過這些梯度值反推出節點原始信息的可能性。

傳統的差分隱私辦法會讓每個參與方在自身的梯度值上疊加一個噪聲再傳遞給中央服務器，然而如果該噪聲過大，則模型精度會急劇下降，而如果噪聲過小，又起不到保護隱私的作用。該方法始終存在著精度與隱私性難以權衡的問題。

發明內容

為解決現有的聯邦學習方法存在的精度與隱私性難以權衡的問題，本發明提供了一種聯邦學習模型訓練方法及系統。

一種聯邦學習模型訓練方法，包括：

中央服務器將初始參數發送至各個節點設備；

各個節點設備基于所述初始參數和本地數據集進行模型訓練，并獲得梯度值；

中央服務器生成密鑰對，并將公鑰發送給各個節點設備；

各節點設備采用所述公鑰對梯度值進行加密，獲得加密梯度；

各節點設備通過點對點方式計算加密梯度和，并將加密梯度和發送至中央服務器；

中央服務器通過私鑰對所述加密梯度和進行解密，獲得梯度和，并發送至各個節點設備；

節點設備基于所述梯度和更新模型的參數，根據更新的參數以及本地數據集進行下一輪模型訓練，直到滿足訓練停止條件。

進一步地，節點設備基于初始參數或者更新的參數以及本地數據集進行模型訓練，獲得梯度值，包括：

節點設備基于所述初始參數或者更新的參數，以及本地數據集計算損失函數值，計算過程中獲得梯度下降產生的梯度值。

進一步地，所述中央服務器基于同態加密算法生成密鑰對。

進一步地，各節點設備通過點對點方式計算加密梯度和，包括：