[發明專利]聯邦學習模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110982129.7
• 申請日: 2021-08-25
• 公開（公告）號: CN113689000A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 萬晟;高大山;鞠策;譚奔;楊強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

1.一種聯邦學習模型的訓練方法，其特征在于，應用于服務端設備，所述方法包括：

獲取初始的教師模型和公開數據集，所述公開數據集由參與聯邦訓練的多個參與方設備共同持有；

基于所述教師模型和所述公開數據集，訓練得到各參與方設備對應的學生模型；

將各學生模型發送至對應的參與方設備，以使各所述參與方設備根據各自的私有訓練數據對對應的學生模型進行更新，得到更新后的學生模型；

根據所述各參與方設備發送的所述更新后的學生模型，對所述教師模型進行更新，得到更新后的教師模型；

當所述更新后的教師模型滿足預設收斂條件時，將所述更新后的教師模型確定為訓練好的聯邦學習模型。

2.根據權利要求1所述的方法，其特征在于，所述訓練得到各參與方設備對應的學生模型之前，所述方法還包括：

接收各所述參與方設備發送的所述公開數據集中各公開數據的權重；

所述基于所述教師模型和所述公開數據集，訓練得到各參與方設備對應的學生模型，包括：

基于各所述參與方設備發送的所述公開數據集中各公開數據的權重，對相應公開數據集中各公開數據進行調整，得到各參與方設備對應的目標數據集；

基于所述教師模型和各參與方設備對應的目標數據集，訓練得到各參與方設備對應的學生模型。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

接收所述參與方設備發送的請求信息，所述請求信息用于獲取訓練好的聯邦學習模型；

響應于所述請求信息，將所述訓練好的聯邦學習模型發送至所述參與方設備，以使所述參與方設備根據目標用戶的特征數據和所述訓練好的聯邦學習模型確定針對所述目標用戶的目標信息。

4.根據權利要求2所述的方法，其特征在于，所述基于所述教師模型和各參與方設備對應的目標數據集，訓練得到各參與方設備對應的學生模型，包括：

針對各參與方設備對應的目標數據集，執行以下操作：

將所述目標數據集中多個數據分別輸入至所述教師模型，得到相應的預測結果；

以所述預測結果作為相應數據的標簽，構建所述參與方設備對應的學生模型的訓練樣本；

基于構建的訓練樣本，訓練所述參與方設備對應的學生模型。

5.根據權利要求1所述的方法，其特征在于，所述獲取初始的教師模型，包括：

獲取初始化的聯邦學習模型；

將所述初始化的聯邦學習模型發送至所述多個參與方設備，以使各所述參與方設備根據各自的私有訓練數據對所述初始化的聯邦學習模型進行更新，得到更新后的聯邦學習模型；

接收各所述參與方設備發送的更新后的聯邦學習模型；

將各所述參與方設備發送的更新后的聯邦學習模型進行聚合，得到初始的教師模型。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當所述更新后的教師模型不滿足預設收斂條件時，基于所述更新后的教師模型和所述公開數據集，訓練得到各參與方設備對應的更新后的學生模型；

將各更新后的學生模型發送至對應的參與方設備，以使各所述參與方設備根據各自的私有訓練數據對對應的更新后的學生模型進行再次更新，得到再次更新后的學生模型；

將各所述參與方設備發送的再次更新后的聯邦學習模型進行聚合，得到再次更新后的教師模型。

7.一種聯邦學習模型的訓練方法，其特征在于，應用于參與方設備，所述方法包括：

接收服務端設備發送的學生模型，所述學生模型由所述服務端設備根據教師模型和公開數據集訓練得到，所述公開數據集由參與聯邦訓練的多個參與方設備共同持有；

獲取所述參與方設備的私有訓練數據；

根據所述私有訓練數據對所述學生模型進行更新，得到更新后的學生模型；

將所述更新后的學生模型發送至所述服務端設備，以使所述服務端設備根據所述更新后的學生模型對所述教師模型進行更新，并在更新后的教師模型滿足預設收斂條件時，將所述更新后的教師模型確定為訓練好的聯邦學習模型。