[發明專利]一種基于異構分層聯邦學習的異常檢測方法

有效

• 申請號: 202210286072.1
• 申請日: 2022-03-22
• 公開（公告）號: CN114710330B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 徐景;王樂意;劉玲亞
• 申請（專利權）人: 華東師范大學
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L41/142;H04L41/147;H04L41/16
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

1.一種基于異構分層聯邦學習的異常檢測方法，其特征在于，包括如下步驟：

步驟1、構建異構分層聯邦學習架構；

步驟2、簇間基于縱向聯邦學習異步更新全局模型；

步驟3、簇內基于橫向聯邦學習同步更新局部模型；

所述步驟1，包括如下步驟：

步驟1.1、異構分層聯邦學習框架包括一個總協調方，用于協調簇間模型更新；M個次協調方，各自分管一個同構的簇內局部模型更新；以及歸屬于不同次協調方的數量不一的參與方，所述參與方對應設備終端；其中，對應次協調方j，j＝1...M，的參與方數目為K_j，第k個參與方持有本地訓練數據k＝1...K_j，且各次協調方中的各參與方持有訓練樣本總和為n，其中和分別為位于第j個次協調方中第k個參與方的第i個樣本的特征feature和標簽；

步驟1.2、設立一個樣本協調器，用于指定第t次迭代樣本呈現時間表I(t)，這決定了樣本從哪些參與方中提取，以及樣本提交給訓練算法的順序；

步驟1.3、建立簇間只傳輸預測結果的模型如下式所示：

其中α^j，k為次協調方j中第k個參與方的子模型，作用是將次協調方j中第k個參與方上的局部特征ξ^j，k映射到一個局部預測；σ為一個連續可微函數，用來聚合局部中間預測α^j，k(x^j，k，ξ^j，k)；

步驟1.4、第t次迭代呈現給訓練算法且索引為I(t)樣本的目標函數可以用下式表示：

其中L(x；ξ_I(t)，y_I(t))為損失函數，表示每個樣本的預測值和真實標簽之間的差距，是子模型參數x^j，k的正則項，用來防止模型過擬合；

步驟1.5、子模型的局部梯度計算公式如下所示：

其中的H(·)函數用來簡化與相關的前幾個項的符號；

步驟1.6、設立Push_Request指令和Pull_Request指令，為總協調方與次協調方之間通信使用；

所述步驟2，包括如下步驟：

步驟2.1、定義次協調方j方的全局參數為x^j，內部參與方k的局部參數為x^j，k，對上述兩個參數進行初始化：在特定的第t次迭代中，t＝0...T，聚合來自次協調方j中的索引為I(t)的樣本所在參與方更新的本地預測結果：

將本地預測結果c通過Push_Request指令上傳給總協調方；

步驟2.2、總協調方初始化局部預測矩陣[A_I，j]_n*m，若接收到來自次協調方j第t次迭代更新聚合后的預測結果c，令A_I(t)，j＝c；

步驟2.3、不同的次協調方j在第t次迭代中，向總協調方發送Pull_Request指令，請求獲取總協調方關于I(t)最新的預測結果，如果請求成功，則接收到并發送給次協調方j中的參與方；如果請求失敗，則繼續發送Pull_Request指令；

步驟2.4、總協調方若接收到來自次協調方j第t次迭代中的Pull_Request指令，且t不超過迭代輪次最慢的次協調方τ次，則發送至次協調方j方，否則拒絕該Pull_Request指令；

步驟2.5、次協調方j方調動簇內的各參與方進行橫向聯邦學習，至簇內局部模型收斂或到達預設橫向聯邦訓練迭代次數T′后，重復所述步驟2.1至收斂或到達預設縱向聯邦訓練迭代次數；

所述步驟3，包括如下步驟：

步驟3.1、在次協調方j中各參與方接收到第t次迭代中次協調方j方發送的后，開始橫向聯邦的迭代t′＝1...T′，初始化子模型參數：表明第t次縱向聯邦迭代中次協調方j方的第k個參與方的局部參數在橫向聯邦迭代中的初始值等于第t次縱向聯邦迭代中次協調方j方的全局參數，并且表示第t次縱向聯邦迭代中次協調方j方的全局參數等于上一輪橫向聯邦經過T′更新后的參數；

步驟3.2、次協調方j中各參與方同時根據下式計算梯度

次協調方j中各參與方更新局部參數為：

η_t′為學習速率，各參與方再將一次橫向聯邦更新后的局部參數一同發送至次協調方j；

步驟3.3、次協調方j接收到各參與方上傳的局部參數后進行聚合，更新全局參數

次協調方j將更新后的全局參數一同下發至各參與方，此時局部參數更新為

步驟3.4、重復所述步驟3.2，直至簇內模型收斂或者迭代次數達到預設的T′。