[發明專利]多智能體模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110982120.6
• 申請日: 2021-08-25
• 公開（公告）號: CN113673711A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何元欽;駱家煥;康焱;劉洋
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

本申請提供了一種多智能體模型的訓練方法、裝置；方法包括：參數聚合設備接收各參與方設備發送的第一數量的參數值組，參數值組包含至少一個不可預測參數的參數值；對各參與方設備發送的參數值組進行匯總，將匯總得到的第二數量的參數值組發送至參與方設備；接收各參與方設備返回的第二數量的損失值，損失值是參與方設備基于接收到的參數值組及多智能體模型的損失函數所確定；基于第二數量的損失值，從第二數量的參數值組中選取第一數量的參數值組作為目標參數值組；將目標參數值組發送至各參與方設備，以使參與方設備基于目標參數值組，更新多智能體模型的模型參數。通過本申請，能夠快速找到合適的參數取值，使得多智能模型的更新過程更加穩定。

技術領域

本申請涉及人工智能技術，尤其涉及一種多智能體模型的訓練方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

聯邦學習技術是新興的一種隱私保護技術，能夠保證數據在不出本地的前提下，有效聯合各方數據進行模型訓練。

橫向聯邦學習的目標是利用各方有限的數據，在保障數據安全的前提下，共同訓練一個全局模型。該全局模型因為利用了各參與方的數據進行訓練，其模型效果能夠逼近將各參與方數據放在一起訓練的情況，顯著優于各參與方只基于自有數據得到的模型的效果。然而，多智能體模型的使用與傳統的機器學習十分不同，如何應用聯邦學習解決多智能體模型的驗證/訓練是一個有待解決的問題。

相關技術中，基于聯邦平均算法更新多智能體模型的方法，是結合橫向聯邦學習框架共同更新模型參數。例如，將各自的最優參數定期的傳輸到參數聚合設備，然后由參數聚合設備將加權平均后的參數值再發送給各參與方設備。然而上述方法是直接對參數進行平均，難以體現各參數點對整體多智能體模型的真實效果。

發明內容

本申請實施例提供一種多智能體模型的訓練方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品，能夠快速找到合適的參數取值，使得多智能體模型的更新過程更加穩定可控。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種多智能體模型的訓練方法，基于聯邦學習系統，所述系統包括參數聚合設備及至少兩個參與方設備，包括：

參數聚合設備接收各所述參與方設備發送的第一數量的參數值組，所述參數值組包含至少一個不可預測參數的參數值；

對各所述參與方設備發送的參數值組進行匯總，并將匯總得到的第二數量的參數值組分別發送至各所述參與方設備；

接收各所述參與方設備返回的第二數量的損失值，所述損失值是，所述參與方設備基于接收到的參數值組及所述多智能體模型的損失函數所確定；

基于各所述第二數量的損失值，從各所述第二數量的參數值組中選取第一數量的參數值組作為目標參數值組；

將所述目標參數值組分別發送至各所述參與方設備，以使各所述參與方設備基于所述目標參數值組，更新所述多智能體模型的模型參數。

本申請實施例提供一種多智能體模型的訓練裝置，包括：

第一接收模塊，用于接收各所述參與方設備發送的第一數量的參數值組，所述參數值組包含至少兩個不可預測參數的參數值；

匯總模塊，用于對各所述參與方設備發送的參數值組進行匯總，并將匯總得到的第二數量的參數值組分別發送至各所述參與方設備；

第二接收模塊，用于接收各所述參與方設備返回的第二數量的損失值，所述損失值是，所述參與方設備基于接收到的參數值組及所述多智能體模型的損失函數所確定；

選取模塊，用于基于所述第二數量的損失值，從所述第二數量的參數值組中選取第一數量的參數值組作為目標參數值組；