[發(fā)明專利]面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法及裝置

在審

• 申請?zhí)枺?/td>: 202210426304.9
• 申請日: 2022-04-22
• 公開（公告）號: CN114841368A
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 林偉偉;石方
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06K9/62
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法，其特征在于，包括下述步驟：

S1、分析不穩(wěn)定聯(lián)邦學(xué)習(xí)的不穩(wěn)定因素，所述不穩(wěn)定因素包括客戶端集合、客戶端本地數(shù)據(jù)和客戶端本地訓(xùn)練狀態(tài)；

S2、建模客戶端集合、客戶端本地數(shù)據(jù)和客戶端本地訓(xùn)練狀態(tài)對模型訓(xùn)練性能的影響；

S3、建模客戶端選擇問題，即建模不穩(wěn)定客戶端集合、不穩(wěn)定客戶端本地數(shù)據(jù)和不穩(wěn)定客戶端本地訓(xùn)練狀態(tài)對客戶端選擇的影響；

S4、提出一種基于上界置信區(qū)間和貪婪選擇的客戶端選擇方法，選擇最優(yōu)的客戶端組合，所述基于上界置信區(qū)間和貪婪選擇的客戶端選擇方法，包括下述步驟：

S41、初始化：將目前所包含的客戶端分為兩個集合，K^e表示本輪開始之前已經(jīng)被選擇過至少一次的客戶端集合，K^ne表示目前為止一次都沒有被選擇過的客戶端集合，所述客戶端集合包括新進(jìn)入的客戶端；

S42、判斷客戶端是否已被選擇過，若客戶端一次都沒被選擇過，則將客戶端加入應(yīng)選擇的客戶端集合中；若客戶端已經(jīng)被選擇過了，則計算客戶端的上界置信值并將上界置信值較高的客戶端加入應(yīng)選擇的客戶端集合中；

S43、服務(wù)器將模型發(fā)送給選擇的客戶端，被選擇的客戶端利用自己的本地數(shù)據(jù)訓(xùn)練模型并將訓(xùn)練完的模型發(fā)送給服務(wù)器，服務(wù)器對客戶端上傳的模型參數(shù)進(jìn)行整合更新；

S44、判斷是否達(dá)到結(jié)束訓(xùn)練的條件，如果達(dá)到結(jié)束條件則退出訓(xùn)練，反之，則從初始化開始重復(fù)上述操作。

2.根據(jù)權(quán)利要求1所述面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法，其特征在于，步驟S2具體為：

將客戶端集合、客戶端本地數(shù)據(jù)和客戶端本地訓(xùn)練狀態(tài)對模型訓(xùn)練性能的影響建模為：

其中，t∈τ＝[1,…,T]表示執(zhí)行第t次模型訓(xùn)練，T表示總的訓(xùn)練次數(shù)；A_t表示在第t輪訓(xùn)練中選擇的客戶端集合；K(t)表示在第t次訓(xùn)練時所有的客戶端集合；表示客戶端k在第t輪訓(xùn)練時權(quán)重所占的比例；E[·]表示期望；f(·)表示本地?fù)p失函數(shù)；表示客戶端k在第t次訓(xùn)練時的本地數(shù)據(jù)集合；表示客戶端k的數(shù)據(jù)分布；w_t表示第t次訓(xùn)練時的全局模型參數(shù)；x_k,t表示客戶端的訓(xùn)練狀態(tài)，若客戶端成功完成本地訓(xùn)練x_k,t＝1，反之則為0；o₁表示本地更新操作，在該過程中，應(yīng)用標(biāo)準(zhǔn)的FedAvg和典型的隨機(jī)梯度下降，具體的更新方式為注意，每輪的局部權(quán)重w_k,t可能因為客戶端本地訓(xùn)練失敗而無法獲得，且如果訓(xùn)練失敗，客戶端k的局部權(quán)重仍然是w_k,t＝w_k,t-1；o₂表示模型整合操作，采用權(quán)重平均對模型進(jìn)行整合，但是由于部分客戶端有可能在本地訓(xùn)練中失敗，因此服務(wù)器僅能整合成功訓(xùn)練完的客戶端，即

3.根據(jù)權(quán)利要求1所述面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法，其特征在于，步驟S3中，建模客戶端選擇問題，具體為：

其中，表示客戶端k在所選客戶端集合中的權(quán)重，用于衡量客戶端數(shù)據(jù)之間的冗余；表示客戶端k在A_t中的索引，其中選中的客戶端按照數(shù)據(jù)大小降序排列，較小的表示客戶端k上的數(shù)據(jù)量較大；相反，越大，表示數(shù)據(jù)越少，客戶數(shù)據(jù)排名靠前的冗余可能性越大；π_t(k)表示客戶端k在第t輪訓(xùn)練中被成功用于訓(xùn)練的數(shù)據(jù)大小。

4.根據(jù)權(quán)利要求3所述面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法，其特征在于，通過量化客戶端數(shù)據(jù)和資源異構(gòu)性對不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的影響，提出客戶端的有效參與數(shù)據(jù)衡量客戶端的性能，并提出累積有效參與數(shù)據(jù)用于衡量三種不穩(wěn)定因素對整體性能的影響。

5.根據(jù)權(quán)利要求4所述面向不穩(wěn)定聯(lián)邦學(xué)習(xí)場景的客戶端選擇優(yōu)化方法，其特征在于，客戶端的選擇優(yōu)化問題是一個次模函數(shù)的優(yōu)化問題，并將其轉(zhuǎn)為

其中，