[發明專利]基于聯邦學習的模型訓練方法、裝置、設備和介質

在審

• 申請號: 202110233577.7
• 申請日: 2021-03-03
• 公開（公告）號: CN113792883A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 李怡欣;張一凡;王虎;黃志翔;彭南博
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種基于聯邦學習的模型訓練方法，應用于業務端，所述方法包括：

在專家經驗標簽庫中獲取第一訓練標簽集合和第二訓練標簽，所述專家經驗標簽庫包括多個基于專家經驗設置的訓練標簽，所述第一訓練標簽集合中包括多個不同的第一訓練標簽；

對于各個數據端，在所述第一訓練標簽集合中確定該數據端對應的第一訓練標簽，并基于該數據端對應的第一訓練標簽，對該數據端中的模型進行訓練；

獲取各個數據端根據訓練好的模型發送的訓練數據；

根據所述訓練數據和所述第二訓練標簽，對整合模型進行訓練，以使訓練好的整合模型對各個數據端發送的數據進行整合。

2.根據權利要求1所述的方法，其中，所述基于該數據端對應的第一訓練標簽，對該數據端中的模型進行訓練，包括：

獲取該數據端中的模型進行數據壓縮處理后輸出的壓縮數據；

基于所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向，以使該數據端中的模型根據所述優化方向進行訓練。

3.根據權利要求2所述的方法，其中，所述基于所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向，包括：

響應于確定該數據端中的模型未訓練好，基于各個數據端中其它數據端訓練好的模型、所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向。

4.根據權利要求2所述的方法，其中，所述基于所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向，包括：

響應于確定該數據端未掉線且未出現延遲，基于所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向。

5.根據權利要求1所述的方法，其中，所述獲取各個數據端根據訓練好的模型發送的訓練數據，包括：

在各個數據端中確定未掉線且未出現延遲的目標數據端；

獲取所述目標數據端根據訓練好的模型發送的訓練數據。

6.根據權利要求2所述的方法，其中，所述基于所述壓縮數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向，包括：

確定該數據端對應的至少一個同組數據端；

獲取各個同組數據端發送的壓縮處理后的同組數據；

利用該數據端對應的協同器，整合所述同組數據和所述壓縮數據，得到整合數據；

基于整合數據和該數據端對應的第一訓練標簽，向該數據端中的模型返回相應的優化方向。

7.根據權利要求1至6任一項所述的方法，其中，所述根據所述訓練數據和所述第二訓練標簽，對整合模型進行訓練，包括：

從所述訓練數據中選取樣本數據，并執行以下訓練步驟：將所述樣本數據輸入初始模型，得到所述初始模型輸出的輸出結果；基于所述輸出結果和所述第二訓練標簽，確定所述初始模型的損失函數的損失值；響應于所述損失值滿足預設收斂條件，將所述初始模型作為訓練好的整合模型。

8.根據權利要求7所述的方法，其中，所述方法還包括：

響應于所述損失值不滿足所述預設收斂條件，調整所述初始模型中的相關參數，并在所述訓練數據中重新選取樣本數據，繼續執行所述訓練步驟。

9.一種基于聯邦學習的模型訓練方法，應用于數據端，所述方法包括：

將原始數據輸入待訓練的模型，得到所述待訓練的模型輸出的壓縮處理后的壓縮數據；

將所述壓縮數據發送給業務端，以使所述業務端根據所述壓縮數據返回優化方向；

根據所述優化方向訓練所述待訓練的模型，得到訓練好的模型；

獲取所述訓練好的模型輸出的訓練數據；

將所述訓練數據發送給所述業務端，以使所述業務端基于所述訓練數據訓練整合模型。

10.根據權利要求9所述的方法，其中，所述壓縮數據為一維數據。