[發明專利]一種基于時效性的半異步分層聯邦學習更新方法

在審

• 申請號: 202111202121.0
• 申請日: 2021-10-15
• 公開（公告）號: CN113988160A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 陳琪美;尤澤華;江昊
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于時效性的半異步分層聯邦學習方法，其特征在于，包括以下步驟：

步驟1：搭建分層網絡架構，所述分層網絡架構包括：云節點、K個邊緣節點和K*N個終端設備，其中云節點與所述K個邊緣節點依次連接，而每個邊緣節點也將與N個相同類型的終端設備依次連接；

步驟2：根據上述分層網絡架構，提出相應的聯邦學習方法，以實現異構設備的數據共享應用；

步驟3，通過步驟2中的云節點完成邊緣節點訓練模型權重聚合任務后，將利用步驟2所述的云節點訓練模型權重和步驟2所述的被選擇的邊緣節點k的模型權重進行模型差距計算以得到對應邊緣節點k的個性化邊緣模型，其中未被選擇的邊緣節點將在被選擇時執行此過程。

2.根據權利要求1所述的基于時效性的半異步分層聯邦學習方法，其特征在于，所述步驟2具體如下：

步驟2.1：本步驟將構建聯邦學習中的損失函數模型，并通過隨機梯度下降方法進行相應模型訓練得到優化模型權重值，進一步計算終端設備的計算時間和模型梯度值；

其中每個邊緣節點k所連接的終端設備集為

所述聯邦學習中與邊緣設備k相連接的本地設備n的損失函數模型F_k,n(w_k,n)表示為：

其中，f_k,n(x_j,k,n,y_j,k,n,w_k,n)為與邊緣設備k相連接的本地設備n的損失函數，該損失函數的線性回歸模型表達式為除此之外，w_k,n為設計與邊緣設備k相連接的本地設備n的訓練模型權重值，而D_k,n＝{(x_j,k,n,y_j,k,n):j＝1,...,|D_k,n|}代表著與邊緣節點k相連的終端設備n所儲存的數據集，|D_k,n|表示數據集的大小，x_j,k,n表示與邊緣設備k相連接的本地設備n數據中第j次的輸入樣本，y_j,k,n表示邊緣設備k相連接的本地設備n中與其相關聯的輸出樣本；

所述通過隨機梯度下降方法進行相應模型訓練為：

其中，t表示本地訓練時第t次迭代過程，η表示訓練過程中的學習效率；

經過一定數量迭代過程之后，經過隨機梯度下降方法進行相應模型訓練得到邊緣節點k相連接的終端設備n的優化后訓練權重

設C_k,n為與邊緣節點k相連接的終端設備n計算一個數據樣本所需要的CPU循環次數，與邊緣節點k相連接的終端設備n的計算時間表示為，其中上標c表示計算意義：

其中，|D_k,n|表示與邊緣節點k相連接的終端設備n的數據集的大小，f_k,n表示與邊緣節點k相連接的終端設備n的計算能力；

結合邊緣節點k相連接的終端設備n的優化后訓練權重，得到邊緣節點k相連接的終端設備n的終端模型梯度值g_k,n為：

步驟2.2，定義由終端設備到其相連接的邊緣節點的傳輸模型，計算終端設備上傳到相關聯邊緣節點的傳輸速率，計算邊緣節點k到與其相連接的終端設備n的下行廣播速率，計算終端設備n到邊緣節點k的上行傳輸時間，計算邊緣節點k到終端設備n的下行傳播時間，構建邊緣節點處的模型聚集模型；

所述定義由終端設備到其相連接的邊緣節點的傳輸模型為：

首先定義由終端設備n到其相連接的邊緣節點k的傳輸模型，設B_k,n為與邊緣節點k相連接的終端設備n所分配到的帶寬，而邊緣節點k的帶寬之和B_k表示為

所述計算終端設備上傳到相關聯邊緣節點的傳輸速率為：

由終端設備n上傳到相關聯邊緣節點k的傳輸速率為：

其中表示與邊緣節點k相連接的終端設備n的上傳傳輸速率，P_k,n代表與邊緣節點k相連接的終端設備n的傳輸功率，g_k,n代表與邊緣節點k相連接的終端設備n信道增益，N₀代表噪聲能量；

所述計算邊緣節點k到與與其相連接的終端設備n的下行廣播速率為：

由邊緣節點k到與與其相連接的終端設備n的下行廣播速率為：

其中表示與邊緣節點k相連接的終端設備n的下行廣播速率，P_k為邊緣節點k的傳輸功率；

所述計算終端設備n到邊緣節點k的上行傳輸時間為：

定義模型大小為Z，終端設備n到邊緣節點k的上行傳輸時間可以表示為，其中上標u表示上傳意義：

所述計算邊緣節點k到終端設備n的下行傳播時間為：

邊緣節點k到終端設備n的下行傳播時間可以表示為，其中上標d表示廣播意義：

所述構建邊緣節點處的模型聚集模型為：

在邊緣節點k與其相連接終端設備n的聯邦學習通信過程中，由于定義了每一個邊緣節點所連接的終端設備為相同的類型，相同類型的終端設備將會有相類似的數據計算能力和信號傳輸能力，因此在聯邦學習的邊緣節點聚集過程中可以采用同步聚集方式；傳統同步聚集過程中，由于中心節點所連接的終端設備類型異構型，中心節點需要等待最慢的終端設備完成本地計算后才能進行模型聚合，這會導致大量的訓練時間浪費；在本設計中由于分層結構的存在，同一類型設備連接同一邊緣節點，采用同步聚集方式將會在保證模型準確度的情況下盡可能地減少資源浪費情況；因此在邊緣節點k處的模型權重的聚集方法可以表示為：

其中|D_k|表示與邊緣節點k相連接的所有終端設備集的數據之和；在邊緣節點與終端設備通信過程中的整體時間延遲可以表示為，其中上標edge表示邊緣節點：

步驟2.3，計算邊緣節點k到云節點的數據傳輸速率，計算云節點與邊緣節點k的廣播數據傳輸速率，分別計算云節點與邊緣節點k通信的上傳和廣播時間，計算云節點與邊緣節點通信過程中整體時間延遲，構建半異步模型聚集模型；

所述計算邊緣節點k到云節點的數據傳輸速率為：

邊緣節點k到云節點的數據傳輸速率可以表示為，其中上標u表示上傳意義：

其中B_c,k為邊緣節點k與云節點通信的傳輸帶寬，P_c,k為邊緣節點k上傳通信的傳輸能量，g_c,k為云節點與邊緣節點k間的信道增益；

所述計算云節點與邊緣節點k的廣播數據傳輸速率為：

而云節點與邊緣節點k的廣播數據傳輸速率可以表示為，其中上標d表示廣播意義：

其中B_c表示云節點與邊緣節點通信時的帶寬之和，P_c為云節點傳輸能量

所述分別計算云節點與邊緣節點k通信的上傳和廣播時間為：

云節點與邊緣節點k通信的上傳時間和廣播時間可以分別表示為，，其中上標u表示上傳意義，上標d表示廣播意義：

所述計算云節點與邊緣節點通信過程中整體時間延遲為：

云節點與邊緣節點通信過程中整體時間延遲為，其中cloud代表云節點：

所述構建半異步模型聚集模型為：

在邊緣節點和云節點通信過程中，由于不同邊緣節點所連接的終端設備不同，

本地數據集存在著很大的異構性，其模型更新周期也各不相同；如果采用同步聚合模型，訓練時間較快節點的所存在的更大延遲是不可接受的；相反，異步方法的每一輪延遲雖然更短，但其需要數倍于同步方法的訓練輪次；因此，設計一種半異步通信方式來解決設備資源浪費現象極其必要；假設每一輪云節點與邊緣節點的通信過程中，云節點會選擇部分邊緣節點參與模型聚集任務，設選擇的設備數據集為因此該半異步模型權重聚集方式可以表示為：

其中w_c為最新的的云節點訓練模型權重，而為上一次的云節點訓練模型權重；

步驟2.4，根據步驟2.1所述的邊緣節點k相連接的終端設備n的終端模型梯度值計算邊緣節點k相連接的終端設備n的數據重要性σ_k,n，計算邊緣節點k的數據重要性σ_k，結合邊緣節點與終端設備通信過程中的整體時間延遲云節點與邊緣節點通信過程中整體時間延遲計算邊緣節點k的總時間延遲，構建邊緣節點是否選擇優化目標；

根據步驟2.1所述的邊緣節點k相連接的終端設備n的終端模型梯度值計算邊緣節點k相連接的終端設備n的數據重要性σ_k,n為：

其中，|| ||代表L2范數,g_k,n代表邊緣節點k相連接的終端設備n的終端模型梯度值；

進一步計算邊緣節點k的數據重要性σ_k為：

其中，代表每個邊緣節點k所連接的終端設備集數量；

計算邊緣節點k的總時間延遲表示為：

其中，為邊緣節點與終端設備通信過程中的整體時間延遲，為云節點與邊緣節點通信過程中整體時間延遲；

所述邊緣節點是否選擇優化目標為：

其中,ρ代表一個權重平衡參數，決定優化問題中數據重要性和時間延遲的分配比率，α_k代表著該邊緣節點k是否被選擇；

采用交替選擇優化方法解決上述問題以進行邊緣節點選擇任務，完成邊緣節點選擇任務后，其中被選擇的節點的α_k值為1，沒有被選擇節點的α_k值為0。

3.根據權利要求1所述的基于時效性的半異步分層聯邦學習方法，其特征在于，所述步驟3具體如下：

假設模型權重距離可以表示兩個模型權重之間的差距，具體為：

其中，w_c為云節點訓練模型權重，w_k為邊緣節點k的模型權重；

深度學習的神經網絡一般由多層網絡組成且每層神經網絡含有不同的權值；

假設一個神經網絡的組成為

云節點訓練模型權重和邊緣節點k的模型權重的差距ε表示為：

其中,l表示模型組成中的不同網絡層，則模型權重個性化可以表示為：

w_k←εw_c+(1-ε)w_k

提出的個性化模型服務可以針對異構設備數據所存在異質性，給分類設備提供更個性化的網絡服務，完成不同設備所對應的訓練任務。