[發明專利]基于聯邦學習的客戶端貢獻計算方法和裝置

在審

• 申請號: 202110387863.9
• 申請日: 2021-04-12
• 公開（公告）號: CN112926897A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 李澤遠;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N20/20
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 姚澤鑫

本申請適用于區塊鏈、激勵機制技術領域，提供一種基于聯邦學習的客戶端貢獻計算方法和裝置，方法包括：獲取聯邦學習模型訓練過程中若干客戶端執行模型訓練后回傳的迭代模型，迭代模型為客戶端使用本地數據進行一輪模型訓練后獲得的模型；根據若干客戶端執行模型訓練后回傳的迭代模型，分別計算出各客戶端當前訓練輪次對應的貢獻值并記錄于訓練記錄表中，訓練記錄表中包含有聯邦學習模型訓練過程中各客戶端每一訓練輪次對應的貢獻值；從訓練記錄表中獲取所有屬于目標客戶端的貢獻值并進行求和處理，以生成目標客戶端在此次聯邦學習模型訓練過程中的總貢獻值。通過上述方法可以減少計算開銷和通信開銷。

技術領域

本申請涉及區塊鏈、激勵機制技術領域，尤其涉及一種基于聯邦學習的客戶端貢獻計算方法和裝置，還涉及用于執行該基于聯邦學習的客戶端貢獻計算方法的電子設備及存儲介質。

背景技術

聯邦學習是一種全新的分布式人工智能網絡架構體系，是指通過聯合多個不同的參與者進行機器學習的方法，主要用于解決當節點之間原始數據不可共享時，如何在保證安全性的條件下高性能地利用各節點獨立的數據訓練出高性能人工智能模型的問題，具有廣闊的應用前景。然而，在利用聯邦學習架構進行模型訓練時，模型的訓練精度與訓練數據量之間的關系為非線性的，需要考量模型的復雜性和數據質量，難以預測，因而使得各參與者的貢獻難以準確地評估。而且，由于每個參與者所使用的訓練數據是由參與者自身根據其本地環境和使用模式收集的，即數據時不平衡的和非獨立同分布的，不同的參與者之間，本地數據集的大小和分布存在較大的差異。現有的聯邦學習方法通常采用Shapley值(SV)來公平地評估各參與者的貢獻，發明人發現，采用該方法計算各參與者的貢獻時，尤其在使用深層神經網絡，以及參與用戶增多的時候，需要較大的計算開銷和通信開銷，資源耗費大，耗時長。

發明內容

有鑒于此，本申請實施例提供了一種基于聯邦學習的客戶端貢獻計算方法和裝置，以及用于執行該基于聯邦學習的客戶端貢獻計算方法的電子設備及存儲介質，可以有效節省計算開銷和通信開銷。

本申請實施例的第一方面提供了一種基于聯邦學習的客戶端貢獻計算方法，包括：

獲取聯邦學習模型訓練過程中若干客戶端執行模型訓練后回傳的迭代模型，所述迭代模型為客戶端使用本地數據進行一輪模型訓練后獲得的模型；

根據所述若干客戶端執行模型訓練后回傳的迭代模型，分別計算出各客戶端當前訓練輪次對應的貢獻值并記錄于訓練記錄表中，所述訓練記錄表中包含有聯邦學習模型訓練過程中各客戶端每一訓練輪次對應的貢獻值；

從所述訓練記錄表中提取所有屬于目標客戶端的貢獻值并進行求和處理，以生成所述目標客戶端在此次聯邦學習模型訓練過程中的總貢獻值。

結合第一方面，在第一方面的第一種可能實現方式中，根據所述若干客戶端執行模型訓練后回傳的迭代模型，分別計算出各客戶端當前訓練輪次對應的貢獻值的步驟，包括：

將所述若干客戶端執行模型訓練后回傳的迭代模型聚合更新到聯邦學習模型中獲得第一全局模型，計算出所述第一全局模型的性能分值；

通過排除目標客戶端的迭代模型，將其余各客戶端的迭代模型聚合更新到聯邦學習模型中獲得第二全局模型，計算出所述第二全局模型的性能分值；

將所述第一全局模型的性能分值與所述第二全局模型的性能分值進行比較，獲得所述客戶端當前訓練輪次對應的貢獻值，所述目標客戶端為所述若干客戶端中的任一客戶端。

結合第一方面的第一種可能實現方式，在第一方面的第二種可能實現方式中，將所述第一全局模型的性能分值與所述第二全局模型的性能分值進行比較，獲得所述客戶端當前訓練輪次對應的貢獻值的步驟中，客戶端當前訓練輪次對應的貢獻值由以下關系式進行推算獲得：