[發明專利]聯邦學習系統中終端設備節點的選擇方法及裝置

在審

• 申請號: 202011542477.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112668128A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 楊超;董承偉;雷振江;田小蕾;楊秀峰;馬天琛;馬莉莉;方思遠
• 申請（專利權）人: 國網遼寧省電力有限公司物資分公司;國家電網有限公司
• 主分類號: G06F30/18
• 分類號: G06F30/18;G06F30/27;G06F9/50;G06N20/00;G06F111/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王治東

1.一種聯邦學習系統中終端設備節點的選擇方法，其特征在于，包括：

確定對應終端設備節點選擇的測試準確率最優化目標模型；其中，所述測試準確率最優化目標模型用于最小化每次聯邦學習迭代過程中參與的終端設備節點的總體損失函數，并滿足預設的約束條件；所述終端設備節點的總體損失函數用于表示測試準確率；

獲取每次聯邦學習迭代過程對應的當前環境狀態數據，并將所述當前環境狀態數據輸入至終端設備節點選擇模型中，得到所述終端設備節點選擇模型輸出的對應所述測試準確率和所述約束條件的終端設備節點選擇策略；其中，所述終端設備節點選擇策略用于確定每次聯邦學習迭代過程中參與的終端設備節點，實現聯邦學習模型訓練；

所述終端設備節點選擇模型是基于環境交互樣本信息、所述環境交互樣本信息對應的終端設備節點選擇策略以及策略更新幅度訓練得到。

2.根據權利要求1所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，所述滿足預設的約束條件，具體包括：滿足預設的終端設備能耗約束，并滿足終端設備數據傳輸時延及終端設備數據計算時延的時延約束。

3.根據權利要求1所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，所述終端設備節點選擇模型為基于多個線程的近端策略優化模型設計得到的深度強化學習模型；

所述近端策略優化模型利用多個線程在聯邦學習迭代環境中收集對應的當前環境狀態數據。

4.根據權利要求1或3所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，所述當前環境狀態數據包括：聯邦學習迭代過程中目標聯邦學習任務對應的數據、所述終端設備節點在目標時刻用于實現所述目標聯邦學習任務的資源數據、所述終端設備節點在所述目標時刻對應的上一時刻的測試數據集大小以及在所述目標時刻對應的上一時刻的終端設備節點選擇策略。

5.根據權利要求3所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，所述近端策略優化模型在收集到多個線程采集的當前環境狀態數據后，觸發執行預設的更新操作；在更新操作過程中，所述多個線程停止采集數據，并在更新操作完成后，所述多個線程使用當前最新的終端設備節點選擇策略采集對應的當前環境狀態數據。

6.根據權利要求5所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，還包括：采用正則化方式限制所述終端設備節點選擇策略對應的更新幅度；其中，所述終端設備節點選擇策略對應的更新幅度是基于目標時刻的新終端設備節點選擇策略與舊終端設備節點選擇策略的比值確定的。

7.根據權利要求1所述的聯邦學習系統中終端設備節點的選擇方法，其特征在于，所述總體損失函數為所述終端設備節點完成訓練的測試數據集對應的損失函數的總和。

8.一種聯邦學習系統中終端設備節點的選擇裝置，其特征在于，包括：

最優化目標模型確定單元，用于確定對應終端設備節點選擇的測試準確率最優化目標模型；其中，所述測試準確率最優化目標模型用于最小化每次聯邦學習迭代過程中參與的終端設備節點的總體損失函數，并滿足預設的約束條件；所述終端設備節點的總體損失函數用于表示測試準確率；

節點選擇策略確定單元，用于獲取每次聯邦學習迭代過程對應的當前環境狀態數據，并將所述當前環境狀態數據輸入至終端設備節點選擇模型中，得到所述終端設備節點選擇模型輸出的對應所述測試準確率和所述約束條件的終端設備節點選擇策略；其中，所述終端設備節點選擇策略用于確定每次聯邦學習迭代過程中參與的終端設備節點實現聯邦學習模型訓練；所述終端設備節點選擇模型基于環境交互樣本信息、所述環境交互樣本信息對應的終端設備節點選擇策略以及策略更新幅度訓練得到。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7任意一項所述的聯邦學習系統中終端設備節點的選擇方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1-7任意一項所述的聯邦學習系統中終端設備節點的選擇方法的步驟。