[發明專利]基于貝葉斯優化的聯邦學習超參數選擇系統及方法

有效

• 申請號: 202110957008.7
• 申請日: 2021-08-19
• 公開（公告）號: CN113609785B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 顧見軍;鄧旭宏
• 申請（專利權）人: 成都數融科技有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F18/214;G06F18/2415;G06N20/00
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 王國堯

本發明涉及基于貝葉斯優化的聯邦學習超參數選擇系統及方法，該系統應用于中心節點和多個數據擁有方的參與節點，包括配置策略模塊和貝葉斯超參數選擇模塊；其中，配置策略模塊負責配置聯邦模型和貝葉斯超參數選擇策略；貝葉斯超參數選擇模塊，用于完成超參數的選擇；該聯邦學習超參數選擇方法包括以下步驟：多個參與節點準備好本地交叉訓練和交叉預測模塊，分別啟動服務并監聽等待中心節點的調度；中心節點根據業務配置聯邦模型和貝葉斯超參數選擇策略；中心節點啟用貝葉斯超參數選擇模塊，多次基于不同超參數組合，調度聯邦學習的交叉訓練和交叉預測過程，選擇性能最優的超參數組合。

技術領域

本發明涉及機器學習技術領域，尤其涉及基于貝葉斯優化的聯邦學習超參數選擇系統及方法。

背景技術

聯邦學習是一種新興的基于機器學習的技術，很好的解決了多個數據擁有方既要保證數據隱私安全，又要聯合建模的問題。在訓練模型的過程中，不同的超參數對應的模型性能不同，對超參數進行調優可以一定程度上改進模型的性能。但是，模型的超參數可能有很多，而每個超參數的可選范圍又很廣，以至于超參數組合的數量就呈指數增長。現有技術在超參數搜索過程中，需要提前設定好各個參數的最優值可能范圍，使用網格窮舉搜索方法選取最優的超參數組合。由于要遍歷所有的超參數組合，因而會造成超參數搜索效率較低。

發明內容

本申請為了解決上述技術問題提供基于貝葉斯優化的聯邦學習超參數選擇系統及方法。

本申請通過下述技術方案實現：

基于貝葉斯優化的聯邦學習超參數選擇系統，包括：

配置策略模塊，負責配置聯邦模型和貝葉斯超參數選擇策略，

貝葉斯超參數選擇模塊，用于聯合中心節點和各數據提供方的參與節點共同完成超參數的選擇。

優選地，所述配置策略模塊負責配置貝葉斯優化目標函數、超參數搜索空間、貝葉斯優化算法、超參數迭代次數、聯邦模型參數、以及多個數據擁有方的參與節點的地址。

進一步的，所述貝葉斯超參數選擇模塊包括部署在中心節點的參數選擇模塊、聯邦訓練模塊以及聯邦預測模塊；

所述參數選擇模塊，負責貝葉斯優化的參數估計，根據已有的參數樣本估計并更新參數的高斯分布，選擇下一個超參數組合；

所述聯邦交叉訓練模塊，負責基于超參數組合，利用中心節點和各參與節點進行聯邦交叉驗證訓練，得到聯邦交叉驗證模型；

所述聯邦交叉預測模塊，負責得到該超參數組合的聯邦模型的性能指標。

進一步的，所述貝葉斯超參數選擇模塊還包括部署在各參與節點的本地交叉訓練模塊和本地交叉預測模塊；

所述本地交叉訓練模塊，負責基于接收到的模型列表，對本地樣本做交叉驗證樣本分割，使用不同交叉驗證訓練集做增量訓練，得到本地模型列表；

本地交叉預測模塊，負責基于本地交叉驗證測試集和聯邦模型列表進行預測，得到本地全部樣本的預測結果。

基于貝葉斯優化的聯邦學習超參數選擇方法，該方法使用了所述的聯邦學習超參數選擇系統，具體包括以下步驟：

多個參與節點準備好本地交叉訓練和交叉預測模塊，分別啟動服務并監聽等待中心節點的調度；

中心節點根據業務配置聯邦模型和貝葉斯超參數選擇策略；

中心節點啟用貝葉斯超參數選擇模塊，多次基于不同超參數組合，調度聯邦學習的交叉訓練和交叉預測過程，選擇性能最優的超參數組合。

進一步的，聯邦交叉訓練過程中，聯邦訓練會多次迭代模型訓練過程，任意一次迭代包括以下步驟：

中心節點將模型列表下發至參與節點；