[發(fā)明專利]一種針對數據傾斜的快速高效聯(lián)邦學習方法

在審

• 申請?zhí)枺?/td>: 202210671622.1
• 申請日: 2022-06-14
• 公開（公告）號: CN114997374A
• 公開（公告）日: 2022-09-02
• 發(fā)明（設計）人: 彭紅艷;吳彤彤;石貞奎;李先賢
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/20
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

本發(fā)明公開一種針對數據傾斜的快速高效聯(lián)邦學習方法，提出了一種針對訓練數據Non?IID情況下的標簽傾斜和特征傾斜問題的聯(lián)邦模型框架，當訓練數據集中存在較為嚴重的標簽傾斜及特征傾斜問題時，會通過動態(tài)選擇高質量的客戶端參與訓練以緩解標簽分布傾斜問題，并在客戶端本地模型中加入批量歸一化(Batch Normalization，BN)層，以緩解特征傾斜問題，這大幅度的降低了數據異構性對模型性能的影響，有效提高模型收斂速度和精度，在保護數據隱私的同時也實現(xiàn)了模型個性化設計。

技術領域

本發(fā)明涉及聯(lián)邦學習技術領域，具體涉及一種針對數據傾斜的快速高效聯(lián)邦學習方法。

背景技術

隨著互聯(lián)網技術的不斷發(fā)展，越來越多人開始擔心隱私數據泄露的問題，并且隨著多國相繼頒布數據隱私安全條例，之前在機器學習領域廣泛使用的集中式學習由于存在隱私泄露的風險已經不適用多方安全計算領域。2016年谷歌提出聯(lián)邦學習(FederatedLearning)的分布式框架，用于多個參與方(客戶端)在私有數據保留在本地的情況下協(xié)作訓練一個機器學習模型，目前已經得到廣泛的關注。

在標準的聯(lián)邦學習框架FedAvg中，每輪更新是從當前所有客戶端中選擇一個隨機的客戶端子集參與訓練，被選擇的客戶端利用本地數據進行訓練后將更新結果上傳到服務器，服務器聚合這些更新結果，并將本輪更新的全局模型下發(fā)給所有參與者，繼續(xù)重復此過程直至模型收斂。但是標準的聯(lián)邦學習方法FedAvg并不是針對非獨立同分布(Non-IID)數據設計的，如果部署在Non-IID樣本上會導致模型性能下降。因此，聯(lián)邦學習中一個主要的挑戰(zhàn)是，標簽傾斜和特征傾斜。標簽傾斜是指不同客戶端的數據可能具有不同的來源和各自的偏好，不同的客戶端之間數據標簽分布極度不均衡的現(xiàn)象。例如在醫(yī)學診斷任務中，由于不同醫(yī)院的優(yōu)勢專業(yè)不同，因此不同醫(yī)院不同疾病的患者數量差異很大，這樣將造成不同醫(yī)院(客戶端)的數據的疾病類型(標簽)存在不均衡的現(xiàn)象。特征傾斜是指不同客戶端的數據即使屬于同一標簽，但仍然有不同的表現(xiàn)形式，其數據在特征空間的分布上也存在偏差的現(xiàn)象。例如不同的客戶端使用不同的成像設備，導致同一類型的圖片影像外觀仍然可能存在較大差異，進而使得數據在特征空間的分布上存在偏差的現(xiàn)象。對于聯(lián)邦學習方法來說，客戶端之間的數據分布差異越大，會使客戶端更新的本地模型差異越大，這可能會嚴重影響聯(lián)邦學習的全局模型聚合效果。雖然人們花了很多精力優(yōu)化聯(lián)邦模型使存在Non-IID數據時模型保持收斂，但是數據標簽傾斜及特征傾斜的問題依然沒有得到充分的解決，這將極大的影響模型的精度及性能。因此，如何在不訪問多個參與方的本地數據集和訓練過程的情況下，為聯(lián)邦學習任務選擇一組高質量的客戶端及樣本數據以解決標簽傾斜，并同時降低因特征傾斜對模型精度的影響，是需要解決的問題。

目前，有一些試圖在Non-IID數據下進行模型優(yōu)化的方法，如Fraboni等人利用聚類抽樣技術進行無偏客戶抽樣，提出了基于樣本數量和基于相似性的兩種聚合抽樣方法，并通過實驗證明，采用聚類抽樣的方法進行節(jié)點選擇可以使聚合模型在訓練和測試時取得更快更平滑的收斂性。Li等人通過在聯(lián)邦學習框架中加入近端項，緩解了數據異構性，提高了全局模型收斂的穩(wěn)定性。Diao等人提出本地模型與全局模型具有不同的架構的聯(lián)邦學習框架，以訓練具有不同計算復雜性的異構本地模型。Fernando等人提出利用生成增強來彌補少數群體樣本的不足的方法，增加少數派的樣本，直到與多數派達到平衡為止，從而糾正類平衡問題。但是現(xiàn)有的聯(lián)邦學習方法并沒有充分考慮各個客戶端數據集中類別分布不均衡以及樣本數據存在特征傾斜的混合非獨立同分布問題，如何在保證模型精度與模型訓練收斂速度的同時，降低標簽分布傾斜及特征傾斜對聯(lián)邦學習效果的影響，仍需進一步探索和研究。

發(fā)明內容

本發(fā)明所要解決的是多方參與的聯(lián)邦學習任務中存在的客戶端標簽分布傾斜及特征傾斜的問題，提供一種針對數據傾斜的快速高效聯(lián)邦學習方法。

為解決上述問題，本發(fā)明是通過以下技術方案實現(xiàn)的：

一種針對數據傾斜的快速高效聯(lián)邦學習方法，包括步驟如下：