[發明專利]聯邦學習模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110982129.7
• 申請日: 2021-08-25
• 公開（公告）號: CN113689000A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 萬晟;高大山;鞠策;譚奔;楊強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

本申請提供了一種聯邦學習模型的訓練方法、裝置、電子設備、計算機可讀存儲介質及程序產品，包括：獲取初始的教師模型和由參與聯邦訓練的多個參與方設備共同持有的公開數據集；基于教師模型和公開數據集，訓練得到各參與方設備對應的學生模型；將各學生模型發送至對應的參與方設備，以使各參與方設備根據各自的私有訓練數據對對應的學生模型進行更新以得到更新后的學生模型；根據各更新后的學生模型，對教師模型進行更新；當更新后的教師模型滿足預設收斂條件時，將更新后的教師模型確定為訓練好的聯邦學習模型。如此在服務端設備根據公開數據集和教師模型訓練學生模型，能夠使聯邦學習模型快速收斂，提高聯邦學習模型的訓練效率。

技術領域

本申請涉及人工智能技術領域，涉及但不限于一種聯邦學習模型的訓練方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品。

背景技術

聯邦學習技術是新興的一種隱私保護技術，能夠保證數據在不出本地的前提下，有效聯合各方數據進行模型訓練。

利用聯邦學習對多個客戶端進行聯合訓練，傳統做法是初始化聯邦學習模型，并且將該初始化的聯邦學習模型發送至各個參與方進行本地訓練，得到本地模型，然后服務端基于聯邦平均算法聚合多個本地模型，將多個本地模型的加權平均作為更新后的聯邦學習模型，重復上述步驟得到訓練好的聯邦學習模型。該傳統方法在訓練過程中聯邦學習模型的收斂速度慢，訓練效率低，將該模型應用于推薦系統時，影響獲得推薦信息的效率。

發明內容

本申請實施例提供一種聯邦學習模型的訓練方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品，能夠在訓練過程中使聯邦學習模型快速收斂，提高聯邦學習模型的訓練效率。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種聯邦學習模型的訓練方法，應用于服務端設備，所述方法包括：

獲取初始的教師模型和公開數據集，所述公開數據集由參與聯邦訓練的多個參與方設備共同持有；

基于所述教師模型和所述公開數據集，訓練得到各參與方設備對應的學生模型；

將各學生模型發送至對應的參與方設備，以使各所述參與方設備根據各自的私有訓練數據對對應的學生模型進行更新，得到更新后的學生模型；

根據所述各參與方設備發送的所述更新后的學生模型，對所述教師模型進行更新，得到更新后的教師模型；

當所述更新后的教師模型滿足預設收斂條件時，將所述更新后的教師模型確定為訓練好的聯邦學習模型。

本申請實施例提供一種聯邦學習模型的訓練方法，應用于參與方設備，所述方法包括：

接收服務端設備發送的學生模型，所述學生模型由所述服務端設備根據教師模型和公開數據集訓練得到，所述公開數據集由參與聯邦訓練的多個參與方設備共同持有；

獲取所述參與方設備的私有訓練數據；

根據所述私有訓練數據對所述學生模型進行更新，得到更新后的學生模型；

將所述更新后的學生模型發送至所述服務端設備，以使所述服務端設備根據所述更新后的學生模型對所述教師模型進行更新，并在更新后的教師模型滿足預設收斂條件時，將所述更新后的教師模型確定為訓練好的聯邦學習模型。

本申請實施例提供一種聯邦學習模型的訓練裝置，所述裝置包括：

第一獲取模塊，用于獲取初始的教師模型和公開數據集，所述公開數據集由參與聯邦訓練的多個參與方設備共同持有；

第一訓練模塊，用于基于所述教師模型和所述公開數據集，訓練得到各參與方設備對應的學生模型；