[發明專利]一種基于客戶端雙因素特性的縱向聯邦學習模型聚合方法

在審

• 申請號: 202310883487.1
• 申請日: 2023-07-18
• 公開（公告）號: CN116663657A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 奚正波;黃賽梟;張錚;鄧湘勤
• 申請（專利權）人: 國能大渡河大數據服務有限公司
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06N3/0442;G06N20/00;G06F18/22
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

1.一種基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述方法包括以下步驟：

步驟一:確定聯邦學習訓練的模型結構，并初始化模型參數；

步驟二:確定參與模型訓練的客戶端節點(以下簡稱“節點”)集合，計算各個參與方節點參與訓練的數據量歸一化比值，此為第一個因素；

步驟三:各個參與方節點基于本地數據進行模型預訓練，得到本地訓練模型參數集合及梯度更新向量；

步驟四:隨機選取閾值參數，聚合服務器(以下簡稱“中心方”)基于節點間的梯度更新向量計算節點的相異度，并剔除疑似的惡意節點，即：將疑似惡意節點的相異度置為0，此為第二個因素；

步驟五:中心方根據節點的數據量歸一化比值和相異度計算節點的聚合貢獻權重；

步驟六:中心方基于節點的聚合貢獻權重對局部模型進行加權聚合，形成單次迭代的全局模型；

步驟七:調整閾值參數，分析各預訓練模型的性能，確定近似最優閾值參數；

步驟八:根據近似最優閾值參數進行正式訓練。

2.如權利要求1所述的基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述步驟一還包括以下方法：

根據樣本的特征值進行歸一化處理，以消除特征間的量綱差異；

根據數據的特點和任務需求，確定共同參與訓練模型的結構，包括確定模型的層數、隱藏單元數量和激活函數等關鍵參數；

根據所確定的模型結構，對模型的參數進行初始化；

配置模型的超參數，包括學習率、優化算法、正則化項等，以便在訓練過程中對模型進行優化和調整。

3.如權利要求2所述的基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述步驟二還包括以下方法：

根據系統的要求和參與方的可用資源，確定參與訓練的參與方節點集合。所設定的中心方需要聚合來自各個節點所提供的參數更新向量ΔΘ_j，1≤j≤N。其中下標j表示不同的數據節點，N為參與模型訓練的節點數量；

針對每個參與方節點，計算其參與訓練的數據量歸一化比值，記為數據量因素值p_j。假設節點j的數據量為d_j，總的數據量為D，則節點j的數據量因素值表示為：

4.如權利要求3所述的基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述步驟三還包括以下方法：

每個參與方節點基于本地數據進行模型預訓練。參與方節點使用中心方規定的訓練算法和優化策略，對本地數據進行預訓練，以更新本地模型的參數；

在本地模型訓練過程中，參與方節點得到更新后的本地模型參數集合，并計算梯度更新向量；

在向中心方上傳梯度更新向量時，參與方節點采用中心方規定的加密和隱私保護技術，以保護敏感的本地數據和模型信息。

5.如權利要求4所述的基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述步驟四還包括：

中心方根據參與方節點的梯度更新向量，計算節點與節點之間的相似度值。對于節點j和節點k，假設它們的參數更新向量在本輪次為分別為v_j和v_k，通過如下公式計算它們之間的余弦相似度：

計算得到余弦相似度后，通過如下公式計算相異度：

dissimilarity(j,k)＝1-similarity(j,k)

針對節點j，對節點j與其他所有節點的相異度值之和進行歸一化處理，從而得到值

選取一個合理的隨機閾值參數α，通過參數α剔除過于相異的疑似惡意節點，從而得到最終的針對節點j的相異度值S_j：

6.如權利要求5所述的基于客戶端雙因素特性的縱向聯邦學習模型聚合方法，其特征在于，所述步驟五還包括：

根據所得p_j和S_j計算出節點的權重，并進行相應的歸一化處理：