[發明專利]聯邦學習系統設備節點選擇的方法及裝置

在審

• 申請號: 202111138695.6
• 申請日: 2021-09-27
• 公開（公告）號: CN113971089A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 尚芳劍;李信;彭柏;陳重韜;王藝霏;阮琳娜;李堅;吳佳;婁競;姚艷麗;閆忠平;張少軍;王東升;來驥;張寧;溫馨;郭少勇
• 申請（專利權）人: 國網冀北電力有限公司信息通信分公司;國家電網有限公司;北京郵電大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00;G06N7/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 陳新生

1.一種聯邦學習系統設備節點選擇的方法，其特征在于，包括：

基于聯邦學習系統的設備層中各設備節點的系統能耗和各設備節點輸出結果的正確率，確定聯邦學習系統的獎勵函數；

以聯邦學習系統的獎勵函數的累計值最大化為目標，確定設備層中各設備節點的選擇方案，其中包括各設備節點的選擇狀態；

其中，所述聯邦學習系統的設備層中各設備節點的系統能耗包括設備訓練能耗和網絡輸導能耗，所述設備節點輸出結果的正確率是設備節點預測正確的輸出結果個數占所有訓練樣本個數的比例。

2.根據權利要求1所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述基于聯邦學習系統模型的設備層中各設備節點的系統能耗和各設備節點輸出結果的正確率，確定聯邦學習系統的獎勵函數，包括：

基于馬爾科夫決策過程，確定聯邦學習系統的系統狀態S，動作空間A，決策P以及獎勵函數R；

其中，所述系統狀態S由聯邦學習系統的設備層中各設備與網絡層的基站之間的傳輸速率，各設備節點的設備訓練能耗，各設備節點的網絡輸導能耗及設備節點的選擇狀態組成；

所述動作空間A表示設備層各設備節點的選擇狀態；

所述決策P表示一個由狀態空間到動作空間的映射；

所述獎勵函數R包括設備層中各設備節點的系統能耗和各設備節點輸出結果的正確率。

3.根據權利要求2所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述系統狀態S的公式為：

其中，r_d表示聯邦學習系統中網絡層與設備節點間的傳輸速率，為設備節點的設備訓練能耗，為設備節點的網絡輸導能耗，λ^t表示聯邦學習系統在時間片t中，設備層各設備節點的選擇狀態。

4.根據權利要求2所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述獎勵函數R的公式為：

其中，為設備節點的設備訓練能耗，為設備節點的網絡輸導能耗，為設備節點輸出結果的正確率，為在時間片t中設備層中設備節點d的選擇狀態，d代表設備層中設備節點中任一個，n代表設備層中設備節點的個數，S_t表示聯邦學習系統在時間片t的系統狀態，λ^t表示聯邦學習系統在時間片t中，設備層各設備節點的選擇狀態。

5.根據權利要求1所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述以聯邦學習系統的獎勵函數的累計值最大化為目標，確定設備層中各設備節點的選擇狀態，包括：

基于聯邦學習系統的獎勵函數R以及獎勵函數R的衰減指數γ，確定聯邦學習系統的獎勵函數的累計值；

基于A3C算法，確定聯邦學習系統的獎勵函數的累計值最大時，對應的設備層中各設備節點的選擇狀態為各設備節點的選擇方案。

6.根據權利要求5所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述基于A3C算法，確定聯邦學習系統的獎勵函數的累計值最大時，對應的設備層中各設備節點的選擇狀態為各設備節點的選擇方案，包括：

基于A3C算法，分別在Actor網絡和Critic網絡按照不同的梯度更新各自的網絡參數，并確定對應的設備層的各設備節點的選擇方案。

7.根據權利要求6所述的聯邦學習系統設備節點選擇的方法，其特征在于，所述基于A3C算法，分別在Actor網絡和Critic網絡按照不同的梯度更新各自的網絡參數，并確定對應的設備層的各設備節點的選擇方案，包括：

在Actor網絡中，基于第一梯度，更新Actor網絡的參數；

在Critic網絡中，基于第二梯度，更新Critic網絡的參數；

其中，所述第一梯度是基于Actor網絡中優勢函數對動作求導以及概率模型對當前Actor網絡參數求導得到的；所述第二梯度是基于價值預測的損失函數對Critic網絡參數求導得到的；

基于更新后的Actor網絡參數和Critic網絡參數，多個智能體agent確定聯邦學習系統的獎勵函數累計值最大時，對應的設備層中各設備的選擇方案。