[發明專利]基于貝葉斯優化的聯邦學習超參數選擇系統及方法

有效

• 申請號: 202110957008.7
• 申請日: 2021-08-19
• 公開（公告）號: CN113609785B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 顧見軍;鄧旭宏
• 申請（專利權）人: 成都數融科技有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F18/214;G06F18/2415;G06N20/00
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 王國堯

1.基于貝葉斯優化的聯邦學習超參數選擇系統，其特征在于：包括：

配置策略模塊，負責配置聯邦模型和貝葉斯超參數選擇策略；

貝葉斯超參數選擇模塊，用于聯合中心節點和各數據提供方的參與節點共同完成超參數的選擇；

所述配置策略模塊負責配置貝葉斯優化目標函數、超參數搜索空間、貝葉斯優化算法、超參數迭代次數、聯邦模型參數、以及多個數據擁有方的參與節點的地址；

所述貝葉斯超參數選擇模塊包括部署在中心節點的參數選擇模塊、聯邦交叉訓練模塊以及聯邦交叉預測模塊；

所述參數選擇模塊，負責貝葉斯優化的參數估計，根據已有的參數樣本估計并更新參數的高斯分布，選擇下一個超參數組合；

所述聯邦交叉訓練模塊，負責基于超參數組合，利用中心節點和各參與節點進行聯邦交叉驗證訓練，得到聯邦交叉驗證模型；

所述聯邦交叉預測模塊，負責得到該超參數組合的聯邦模型的性能指標。

2.根據權利要求1所述的基于貝葉斯優化的聯邦學習超參數選擇系統，其特征在于：所述貝葉斯超參數選擇模塊還包括部署在各參與節點的本地交叉訓練模塊和本地交叉預測模塊；

所述本地交叉訓練模塊，負責基于接收到的模型列表，對本地樣本做交叉驗證樣本分割，使用不同交叉驗證訓練集做增量訓練，得到本地模型列表；

本地交叉預測模塊，負責基于本地交叉驗證測試集和聯邦模型列表進行預測，得到本地全部樣本的預測結果。

3.基于貝葉斯優化的聯邦學習超參數選擇方法，其特征在于：所述方法使用了如權利要求1或2所述的聯邦學習超參數選擇系統，具體包括以下步驟：

多個參與節點準備好本地交叉訓練和交叉預測模塊，分別啟動服務并監聽等待中心節點的調度；

中心節點根據業務配置聯邦模型和貝葉斯超參數選擇策略；

中心節點啟用貝葉斯超參數選擇模塊，多次基于不同超參數組合，調度聯邦學習的交叉訓練和交叉預測過程，選擇性能最優的超參數組合。

4.根據權利要求3所述的基于貝葉斯優化的聯邦學習超參數選擇方法，其特征在于：聯邦交叉訓練過程中，聯邦訓練會多次迭代模型訓練過程，任意一次迭代包括以下步驟：

中心節點將模型列表下發至參與節點；

參與節點基于本地訓練數據同時訓練多個本地模型，并將其發送至中心節點；

中心節點接收后更新聯邦模型列表；

中心節點繼續與下一個參與節點進行交互，直至各參與節點都完成一次訓練。

5.根據權利要求3所述的基于貝葉斯優化的聯邦學習超參數選擇方法，其特征在于：聯邦交叉預測包括以下步驟：

中心節點將聯邦模型列表下發至所有的參與節點；

各參與節點基于本地交叉驗證測試集進行預測，并將其發送至中心節點；

中心節點接收并聚合所有參與節點的預測結果，計算本輪超參數組合對應聯邦模型的性能評估指標。

6.根據權利要求3所述的基于貝葉斯優化的聯邦學習超參數選擇方法，其特征在于：貝葉斯超參數選擇模塊根據配置策略模塊預設的迭代次數，迭代超參數訓練過程，每次超參數訓練過程均包括參數選擇、聯邦訓練以及聯邦預測；

達到預設的迭代次數后，基于多次迭代訓練多個超參數組合對應的聯邦模型性能值，選擇性能最優的超參數組合。