[發明專利]聯邦學習模型的訓練方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110939079.4
• 申請日: 2021-08-16
• 公開（公告）號: CN113722987A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 韓雨錦;楊愷;王虎;黃志翔;彭南博
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F21/60;G06K9/62;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種聯邦學習模型的訓練方法，其特征在于，包括：

與數據提供方服務器進行樣本對齊；

分別獲取業務方服務器和所述數據提供方服務器的特征數量，并根據所述特征數量分別對所述業務方服務器和所述數據提供方服務器的特征進行編號，以生成特征編碼集，以及將所述數據提供方服務器的特征編號和公鑰發送至所述數據提供方服務器；

將當前樣本劃分為訓練集和驗證集，并獲取聯邦學習模型的參數集；

根據所述訓練集、所述驗證集、所述參數集和所述特征編碼集，對所述聯邦學習模型進行M次迭代訓練，其中，所述M為大于1的正整數；

在所述M次迭代訓練中每次所述迭代訓練的過程中，若判斷所述聯邦學習模型滿足早停條件，則控制所述M次迭代訓練早停，并獲取所述M次迭代訓練中最后一次迭代訓練得到的所述聯邦學習模型的目標參數；

若判斷所述聯邦學習模型未滿足所述早停條件，則獲取第M次所述迭代訓練得到的所述聯邦學習模型的目標參數。

2.如權利要求1所述的聯邦學習模型的訓練方法，其特征在于，其中，所述每次迭代訓練，包括：

從所述參數集中獲取樣本采樣率和特征采樣率；

從所述訓練集中選取所述樣本采樣率的樣本以生成目標訓練集；

從所述特征編碼集中選取所述特征采樣率的特征編碼以生成目標特征編碼集；

將所述目標訓練集劃分為k個目標訓練子集，其中，所述k為大于1的正整數；

將所述k個目標訓練子集中每個樣本的編號，以及將所述目標特征編碼集中所述數據提供方服務器的目標特征編號發送至所述數據提供方服務器；

根據所述k個目標訓練子集和所述目標特征編碼集，生成所述聯邦學習模型的k個初始參數；

從所述k個初始參數中確定目標參數；

基于梯度提升算法，并根據所述目標參數和所述聯邦學習模型，生成所述當前樣本的優化標簽，其中，所述優化標簽為下一輪迭代訓練的所述當前樣本的訓練標簽。

3.如權利要求2所述的聯邦學習模型的訓練方法，其特征在于，所述根據所述k個目標訓練子集和所述目標特征編碼集，生成所述聯邦學習模型的k個初始參數，包括：

對所述k個目標訓練子集進行拆分組合，以得到k個模型訓練集，其中，每個所述模型訓練集包括k-1個目標訓練子集；

分別根據所述k個模型訓練集，以及所述目標特征編碼集，生成所述k個初始參數。

4.如權利要求3所述的聯邦學習模型的訓練方法，其特征在于，其中，所述根據所述模型訓練集，以及所述目標特征編碼集，生成所述初始參數，包括：

計算所述模型訓練集中樣本的梯度信息，并將所述梯度信息發送至所述數據提供方服務器；

接收所述數據提供方服務器提供的梯度返回信息；

根據所述梯度返回信息和所述目標特征編碼集生成目標分裂點編號，并基于私鑰和所述目標分裂點編號生成密文，以及將所述密文發送至所述數據提供方服務器；

接收所述數據提供方服務器發送的解密運算值，并根據所述解密運算值進行節點分裂；

重復以上步驟直至模型收斂,以完成所述聯邦學習模型的訓練，并通過所述完成訓練的聯邦學習模型獲取所述初始參數。

5.如權利要求4所述的聯邦學習模型的訓練方法，其特征在于，所述計算所述模型訓練集中樣本的梯度信息，包括：

生成所述模型訓練集中樣本的一階梯度值和二階梯度值；

對所述一階梯度值和所述二階梯度值進行同態加密以生成所述梯度信息。

6.如權利要求4所述的聯邦學習模型的訓練方法，其特征在于，所述梯度返回信息為多個，且每個所述梯度返回信息對應有相應的編號，其中，所述根據所述梯度返回信息和所述目標特征編碼集生成目標分裂點編號，包括：

根據所述多個梯度返回信息和所述目標特征編碼集分別生成對應的多個信息增益；

從所述多個信息增益之中選擇最大信息增益，并將所述最大信息增益對應的編號作為所述目標分裂點編號。