[發明專利]一種聯邦學習場景中高效的貢獻評估方法

有效

• 申請號: 202011465470.7
• 申請日: 2020-12-14
• 公開（公告）號: CN112506753B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 張蘭;李向陽;王俊豪
• 申請（專利權）人: 德清阿爾法創新研究院
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/36;G06N20/00
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 陳琦;陳繼亮

1.一種聯邦學習場景中高效的貢獻評估方法，其特征在于所述方法包括如下步驟：

一、根據訓練日志計算權重：服務器使用聯邦學習的訓練日志，用戶的模型更新參數t表示訓練輪數，n表示用戶數，來計算各個用戶在模型聚合時的權重，普通聯邦學習中，第t+1個epoch中，服務器聚合模型的形式化為:又可以寫為：其中θ_t+1表示第t+1輪的全局模型，θ_t為第t個epoch的全局模型，η為學習率，由于服務器不能訪問到各個用戶的訓練數據，并且數據很多都是眾包得到，各個用戶的數據質量和分布情況大不相同，所以服務器只能使用自己擁有的數據作為測試數據集測試全局模型性能，這里假設服務器擁有的測試數據集是高質量的數據集，沒有噪音且分布均勻，在聯邦學習訓練的過程中，服務器傾向于降低全局模型在測試數據集的損失函數，即：

arg min loss^v(θ)，其中，loss^v(θ)表示模型θ在測試數據集(validation set)的損失函數，要求解最優的權重最直觀的方法是使用梯度下降，即：

其中，

在求得后，使用作為用戶在模型聚合時的權重；

二.根據權重計算貢獻：在上一步中，已經求得各個用戶在模型聚合時的權重，使用權重作為沙普利值的效用函數，即可在線性時間內計算得到沙普利值，避免指數級的開銷，計算用戶的沙普利值：即：