[發(fā)明專利]改進的橫向同步聯(lián)邦學習聚合加速方法

在審

• 申請?zhí)枺?/td>: 202310721384.5
• 申請日: 2023-06-16
• 公開（公告）號: CN116629350A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 王鑫;丁雪爽;吳浩宇;雷濤
• 申請（專利權(quán)）人: 陜西科技大學
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06N3/082;H04L67/568;H04L67/01;H04L67/1095
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務所 61215
• 代理人: 段俊濤

本發(fā)明橫向同步聯(lián)邦學習聚合加速方法，步驟如下：客戶端接收服務器發(fā)送的全局模型和客戶端貢獻值；客戶端使用本地數(shù)據(jù)集訓練局部模型，并計算散度閾值，準備發(fā)送訓練完成的局部模型；客戶端利用差值矩陣與梯度壓縮算法優(yōu)化局部模型，并發(fā)送優(yōu)化的局部模型至服務器，服務器將接收的所有模型存入緩沖區(qū)，并計算信息熵；服務器計算上一輪客戶端的貢獻值，并保存信息熵，服務器從緩沖區(qū)取出所有局部模型，并基于局部模型的貢獻值加權(quán)聚合得到新的全局模型；服務器向客戶端發(fā)送上一輪的貢獻值和新的全局模型，客戶端接收服務器發(fā)送的全局模型，進行下一輪訓練。本發(fā)明能夠提高橫向同步聯(lián)邦訓練模型的準確度、降低客戶端到服務器端通信資源與時間開銷。

技術(shù)領(lǐng)域

本發(fā)明屬于橫向聯(lián)邦學習技術(shù)領(lǐng)域，尤其適用于解決同步聯(lián)邦學習訓練模型、聚合更新模型過程中設備數(shù)據(jù)差異大、計算效率差、時間響應慢、通信效率低的問題，為改進的橫向同步聯(lián)邦學習聚合加速方法。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，重視數(shù)據(jù)隱私安全已經(jīng)成為世界性趨勢，相較于傳統(tǒng)機器學習(Machine?learning，ML)通過將本地的數(shù)據(jù)上傳給中心服務器(Server)訓練模型而帶來的數(shù)據(jù)安全隱患，聯(lián)邦學習(Federated?learning，F(xiàn)L)通過“數(shù)據(jù)不動，模型動”的架構(gòu)，保護用戶數(shù)據(jù)隱私安全，支持多方機構(gòu)在數(shù)據(jù)隱私安全和監(jiān)管要求的前提下進行聯(lián)合建模，為解決“數(shù)據(jù)孤島”提供了可行的方法。

橫向同步聯(lián)邦學習的主要架構(gòu)為聯(lián)邦平均算法(FedAvg)，其適用于參與方數(shù)據(jù)特征重疊度較多，樣本空間重疊較少，地理分布接近，通信環(huán)境良好的場景。在FedAvg算法中，每個參與方客戶端(Party)首先接收服務器端下發(fā)的初始模型，同步的使用本地數(shù)據(jù)多次訓練得到本地局部模型后，將其上傳至服務器進行平均模型聚合，服務器得到新的全局模型再下發(fā)給客戶端進行新一輪的模型訓練。在訓練過程中，客戶端在本地訓練私有的局部模型，并通過加密、噪聲等手段將加密模型上傳至服務器以更新全局模型。

聯(lián)邦平均算法通過多輪的本地模型迭代可有效融合來自于多個客戶端的數(shù)據(jù)特征，但隨著用戶設備數(shù)據(jù)集的數(shù)據(jù)量和差異性增大，本地設備的計算需求和訓練的局部模型也隨之增大，會導致客戶端將局部模型上傳至服務器的過程中所占時間開銷較大。同步聯(lián)邦學習的時間開銷主要分為兩個部分，計算時間開銷與通信時間開銷。其中計算時間開銷包括服務器聚合時間開銷與客戶端局部訓練時間開銷。通信時間開銷包括客戶端向服務器發(fā)送數(shù)據(jù)過程中的時間花費，服務器等待客戶端發(fā)送過程中的時間花費與服務器向客戶端發(fā)送數(shù)據(jù)過程中的時間花費。在聯(lián)邦學習的應用場景中，服務器通常由具有高算力，穩(wěn)定網(wǎng)絡資源的角色扮演。因此服務器的計算開銷與發(fā)送開銷幾乎可以忽略不計。在同步聯(lián)邦學習中，減少服務器的訓練開銷與通信開銷成為了加速聯(lián)邦學習的主要途徑。因此，有必要在聯(lián)邦學習客戶端局部訓練模型和服務器聚合模型這兩個方面提出加速方案，以提高橫向同步聯(lián)邦訓練模型的準確度、降低客戶端到服務器端通信資源與時間開銷。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，達到上述情景的需求，本發(fā)明的目的在于提供改進的橫向同步聯(lián)邦學習加速方案。在聯(lián)邦平均算法總體框架下，基于差值矩陣與梯度壓縮的思想來減少客戶端發(fā)送至服務器的數(shù)據(jù)量，達到優(yōu)化客戶端上傳局部模型至服務器通信效率的效果；基于D-S證據(jù)理論提出參與方優(yōu)選方案，結(jié)合參與方對全局模型的影響對各參與方給出評分權(quán)重。在聚合階段，服務器根據(jù)不同客戶端的權(quán)重系數(shù)進行聚合，而不是平均聚合；基于一種信息熵與散度閾值的動態(tài)更新策略。針對參與方發(fā)送局部模型到全局服務器階段，利用散度閾值作為衡量是否向服務器發(fā)送數(shù)據(jù)的標準，具有更好的靈活性。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

橫向同步聯(lián)邦學習聚合加速方法，步驟如下：

步驟1，客戶端接收服務器發(fā)送的全局模型和客戶端貢獻值；

步驟2，客戶端使用本地數(shù)據(jù)集訓練局部模型，并計算散度閾值，準備發(fā)送訓練完成的局部模型；