[發明專利]基于分層抽樣優化的面向異構客戶端的聯合學習方法在審
| 申請號： | 202210690767.6 | 申請日： | 2022-06-17 |
| 公開（公告）號： | CN115204416A | 公開（公告）日： | 2022-10-18 |
| 發明（設計）人： | 馬武彬;魯晨陽;鄭龍信;吳亞輝;周浩浩;戴超凡;鄧蘇 | 申請（專利權）人： | 中國人民解放軍國防科技大學 |
| 主分類號： | G06N20/20 | 分類號： | G06N20/20;G06N3/08;G06K9/62 |
| 代理公司： | 長沙大珂知識產權代理事務所(普通合伙) 43236 | 代理人： | 伍志祥 |
| 地址： | 410073 湖*** | 國省代碼： | 湖南;43 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 分層抽樣 優化 面向 客戶端 聯合 學習方法 | ||
1.基于分層抽樣優化的面向異構客戶端的聯合學習方法，應用于N個客戶端和參數服務器，其特征在于，包括以下步驟：
從不同簇中選擇可用的客戶端，客戶端接收的數據為異構數據；
參數服務器初始化全局模型，然后將全局模型廣播至所有客戶端，客戶端根據接收到的全局模型，對本地數據的樣本進行訓練得到本地模型參數，參數服務器收集每個客戶端的本地模型參數信息，采用聚類方法將客戶端劃分入不同的簇中；
每輪訓練時，根據樣本權重從每個簇中抽取可用的客戶端參與訓練，進行梯度聚合，以保證所有種類的數據都參與每輪訓練，降低客戶端異構帶來的影響；訓練時的目標為凸函數；
每輪參與訓練的客戶端從參數服務器接收到最新全局模型參數后，使用本地數據計算當前參數下的梯度，迭代E次隨機梯度下降后將最新參數發回參數服務器，由參數服務器對傳回的參數進行加權平均。
2.根據權利要求1所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，從N個客戶端中學習一維數據的平均值，并將該目標轉化為一個最小化均方差的問題，所述最小化均方差的問題如下：
其中ξi～Di是從本地數據中獨立選擇的樣本，均值ei＝E[ξi]，ρi是第i個客戶端的權重，ξi為客戶端的樣本，τi為第i個客戶端權重偏移量。
3.根據權利要求2所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，當每個客戶端含有的數據量相同時，所述問題的最優解為：
τi為第i個客戶端權重偏移量，則目標函數將收斂于：
4.根據權利要求1所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，所述聚類方法為OPTICS聚類方法。
5.根據權利要求1所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，客戶端本地模型參數的公式如下：
其中η為學習率，Wt為全局模型，為客戶端的樣本，為損失函數，i為第i個客戶端。
6.根據權利要求1所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，所述加權平均方法為：
K為每輪抽取的客戶端總數，k為第k個客戶端。
7.根據權利要求1所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，Tε為算法為了達到精度ε所需要的迭代次數，則客戶端與參數服務器的通信次數為：
G2為隨機梯度的期望平方范數界限，為隨機梯度的方差界限，ρk是第k個客戶端的權重，E為本地迭代輪次，N是客戶端總數，K為每輪抽取的客戶端總數，L表示L-smooth，μ表示μ強凸，
當數據異構程度較低時，Γ接近于0時，本地迭代輪次E越大越好；當數據異構程度較大時，Γ越小，本地迭代輪次E越小越好。
8.根據權利要求7所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，在全部客戶端參與訓練的條件下，算法收斂性為：
其中，為數據異構參數；
在部分客戶端參與訓練的條件下，算法收斂性為：
其中
同時，在訓練過程中需要將學習率的值設置為逐漸下降，才能收斂至最優的結果，使算法達到O(E2/T)的收斂速度。
9.根據權利要求8所述的基于分層抽樣優化的面向異構客戶端的聯合學習方法，其特征在于，基于下式：
得出，需要設置學習率遞減，才能保證算法收斂到最優解，學習率遞減參數為：ηt＝0.1/1+t，ηt≤2ηt+E。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國人民解放軍國防科技大學，未經中國人民解放軍國防科技大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210690767.6/1.html，轉載請聲明來源鉆瓜專利網。
