[發明專利]聯邦學習模型的訓練方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110939079.4
• 申請日: 2021-08-16
• 公開（公告）號: CN113722987A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 韓雨錦;楊愷;王虎;黃志翔;彭南博
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F21/60;G06K9/62;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

本申請提出一種聯邦學習模型的訓練方法、裝置、電子設備和存儲介質，其中，訓練方法包括：與數據提供方服務器進行樣本對齊；生成特征編碼集，以及將數據提供方服務器的特征編號和公鑰發送至數據提供方服務器；將當前樣本劃分為訓練集和驗證集，并獲取聯邦學習模型的參數集；根據訓練集、驗證集、參數集和特征編碼集，對聯邦學習模型進行M次迭代訓練；在M次迭代訓練中每次迭代訓練的過程中，若判斷聯邦學習模型滿足早停條件，則控制M次迭代訓練早停，并獲取M次迭代訓練中最后一次迭代訓練得到的聯邦學習模型的目標參數。由此，能夠使訓練更加高效，同時提升了建模效果，并且采用了早停策略避免模型出現過擬合的同時減少了復雜度。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種聯邦學習模型的訓練方法、裝置、電子設備和存儲介質。

背景技術

隨著機器學習的發展，越來越多的機器學習技術被應用于各行各業。數據的數量和質量往往決定了機器學習模型效果的上限。但是隨著法規和監管越來越嚴格，以及人們對于數據安全和隱私保護越來越重視，形成數據孤島現象。在這樣的場景下，聯邦學習應運而生，它可以讓參與方在不共享數據的基礎上聯合訓練，解決數據孤島的難題。

相關技術中，聯邦學習是一種加密的分布式機器學習技術，它融合了信息加密、分布式計算和機器學習等多種技術。聯邦學習根據參與方持有數據的特點可以被分為橫向聯邦學習、縱向聯邦學習以及聯邦遷移學習。在風控場景下，縱向聯邦學習的應用更為廣泛。

發明內容

本申請第一方面實施例提出一種聯邦學習模型的訓練方法，能夠使業務方服務器與數據提供方服務器之間的聯合訓練更加高效，同時提升了建模效果，并且采用了早停策略避免模型出現過擬合的同時減少了復雜度。

本申請第二方面實施例提出一種聯邦學習模型的訓練方法。

本申請第三方面實施例提出一種聯邦學習模型的訓練裝置。

本申請第四方面實施例提出一種聯邦學習模型的訓練裝置。

本申請第五方面實施例提出一種電子設備。

本申請第六方面實施例提出一種計算機可讀存儲介質。

本申請第一方面實施例提出了一種聯邦學習模型的訓練方法，包括：

與數據提供方服務器進行樣本對齊；

分別獲取業務方服務器和所述數據提供方服務器的特征數量，并根據所述特征數量分別對所述業務方服務器和所述數據提供方服務器的特征進行編號，以生成特征編碼集，以及將所述數據提供方服務器的特征編號和公鑰發送至所述數據提供方服務器；

將當前樣本劃分為訓練集和驗證集，并獲取聯邦學習模型的參數集；

根據所述訓練集、所述驗證集、所述參數集和所述特征編碼集，對所述聯邦學習模型進行M次迭代訓練，其中，所述M為大于1的正整數；

在所述M次迭代訓練中每次所述迭代訓練的過程中，若判斷所述聯邦學習模型滿足早停條件，則控制所述M次迭代訓練早停，并獲取所述M次迭代訓練中最后一次迭代訓練得到的所述聯邦學習模型的目標參數；

若判斷所述聯邦學習模型未滿足所述早停條件，則獲取第M次所述迭代訓練得到的所述聯邦學習模型的目標參數。