[發明專利]基于注意力機制的聯合學習方法、裝置、計算機設備及計算機可讀存儲介質

在審

• 申請號: 202110778808.2
• 申請日: 2021-07-09
• 公開（公告）號: CN113487040A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 謝龍飛;馬國良
• 申請（專利權）人: 新智數字科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F16/215;G06K9/62
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 張艷

1.一種基于注意力機制的聯合學習方法，其特征在于，包括：

接收參與方上傳的多個參與方模型；

根據所述參與方模型，分別確定查詢參數矩陣和關鍵值矩陣；

確定每一個所述查詢參數矩陣與多個所述關鍵值矩陣之間的差異度；

利用所述差異度，對所述參與方模型進行本地更新，以得到新的參與方模型。

2.根據權利要求1所述的方法，其特征在于，接收參與方上傳的多個參與方模型包括：

確認接收的參與方模型為聯合學習的參與方模型；

對所述參與方模型進行初始化操作；

其中，所述參與方模型為聯合學習參與方已經獲取到服務器模型并訓練過的模型。

3.根據權利要求1所述的方法，其特征在于，根據所述參與方模型，分別確定查詢參數矩陣和關鍵值矩陣包括：

獲取所述參與方模型；

在所述參與方模型中，篩選出目標參照參與方與對比參與方；

將所述目標參照參與方的模型參數提取為查詢參數矩陣；

將所述對比參與方的模型參數提取為關鍵值矩陣。

4.根據權利要求1所述的方法，其特征在于，利用所述差異度，對所述參與方模型進行本地更新，以得到新的參與方模型包括：

計算每一組所述查詢參數矩陣與多個所述關鍵值矩陣的差異度；

根據所述差異度，建立歸一加權函數；

利用所述歸一加權函數，得到所述查詢參數矩陣的注意力系數；

根據所述注意力系數，調整所述參與方模型是否進行本地更新。

5.根據權利要求4所述的方法，其特征在于，根據所述注意力系數，調整所述參與方模型是否進行本地更新包括：

獲取所述查詢參數矩陣的注意力系數；

基于所述注意力系數，對所述歸一加權函數值進行加權求和；

根據所述加權求和的值，調整所述參與方模型是否進行本地更新。

6.一種基于注意力機制的聯合學習裝置，其特征在于，包括：

接收模塊，用于接收參與方上傳的多個參與方模型；

確定模塊，用于根據所述參與方模型，分別確定查詢參數矩陣和關鍵值矩陣；

計算模塊，用于確定每一個所述查詢參數矩陣與多個所述關鍵值矩陣之間的差異度；

更新模塊，用于利用所述差異度，對所述參與方模型進行本地更新，以得到新的參與方模型。

7.根據權利要求6所述的裝置，其特征在于，所述確定模塊包括：

獲取子模塊，用于獲取所述參與方模型；

篩選子模塊，用于在所述參與方模型中，篩選出目標參照參與方與對比參與方；

第一提取子模塊，用于將所述目標參照參與方的模型參數提取為查詢參數矩陣；

第二提取子模塊，用于將所述對比參與方的模型參數提取為關鍵值矩陣。

8.根據權利要求6所述的裝置，其特征在于，所述更新模塊包括：

計算子模塊，用于計算每一組所述查詢參數矩陣與多個所述關鍵值矩陣的差異度；

建立子模塊，用于根據所述差異度，建立歸一加權函數；

確定子模塊，用于利用所述歸一加權函數，得到所述查詢參數矩陣的注意力系數；

調整子模塊，用于根據所述注意力系數，調整所述參與方模型是否進行本地更新。

9.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并且可以在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至5中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至5中任一項所述方法的步驟。