[發明專利]一種基于強化聯邦學習的電力行業起重作業違章檢測方法

在審

• 申請號: 202110963263.2
• 申請日: 2021-08-20
• 公開（公告）號: CN113673696A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 公凡奎;張俊嶺;尹朋;周怡;褚敬;何成;高明;張波;馬超;田亮;李天舒
• 申請（專利權）人: 山東魯軟數字科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/20;G06F21/62;H04L29/06;G06Q50/06
• 代理公司: 廣東有知貓知識產權代理有限公司 44681
• 代理人: 高志軍

1.一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，該方法包括以下步驟：

S1、使用聯邦學習C，對A節點和B節點使用本地數據進行訓練并得到模型；

S2、將步驟S1中得到的模型輸入強化學習模塊，使用強化學習DQN進行模型融合，調整A節點和B節點模型的權值；

S3、強化學習模塊通過強化學習，生成強化融合模型；

S4、聯邦學習C中心節點使用強化融合模型采用加權平均來對A節點和B節點的模型進行模型融合；

S5、將融合后的模型下發到A節點和B節點；

S6、重復步驟S1到S5，直至模型訓練完成。

2.根據權利要求1所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，使用聯邦學習C，對A節點和B節點使用本地數據進行訓練并得到模型：

S11、聯邦學習C把公鑰分發給A節點和B節點，用以對訓練過程中需要交換的數據進行加密；

S12、A節點和B節點之間以加密形式交互用于計算梯度的中間結果；

S13、A節點和B節點分別基于加密的梯度值進行計算，同時B節點根據其標簽數據計算損失，并把結果匯總給聯邦學習C，聯邦學習C通過匯總結果計算總梯度值并將其解密；

S14、聯邦學習C將解密后的梯度分別回傳給A節點和B節點，A節點和B節點根據梯度更新各自模型的參數。

3.根據權利要求2所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，所述模型的訓練過程中，A節點和B節點各自的數據均保留在本地，且訓練過程中的數據交互也不會導致數據隱私泄露，A節點和B節點會在在聯邦學習的幫助下得以實現合作訓練模型。

4.根據權利要求1所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，所述將S1中得到的模型輸入強化學習模塊，使用強化學習DQN進行模型融合，調整A節點和B節點模型的權值還包括以下步驟：

S21、強化學習DQN使用神經網絡來近似值函，即神經網絡的輸入是函數值state ss，輸出是函數值Q(s，a)，

S22、通過神經網絡計算出值函數后，強化學習DQN使用∈-greedy∈-greedy策略來輸出函數值action；

S23、根據Rew去更新值函數網絡的參數，重復步驟S21至S22并進行模型融合。

5.根據權利要求4所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，所述通過神經網絡計算出值函數后，強化學習DQN使用∈-greedy∈-greedy策略來輸出函數值action還包括以下步驟：

S221、通過環境給出一個函數值obs，智能體根據值函數網絡得到關于這個obs的所有函數值Q(s，a)Q(s，a)；

S222、利用∈-greedy∈-greedy選擇函數值action并做出決策，環境接收到此函數值action后會給出一個獎勵函數值Rew及下一個obs。

6.根據權利要求5所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，所述智能體根據值函數網絡得到關于這個obs的所有函數值的Q(s，a)Q(s，a)的估算公式如下：

Q(s，a)Q(s，a)≈^Q(s，a，w)≈Qπ(s，a)Q^(s，a，w)≈Qπ(s，a)。

7.根據權利要求6所述的一種基于強化聯邦學習的電力行業起重作業違章檢測方法，其特征在于，所述強化學習DQN的算法如下：

初始化Q(s，a)，Vs∈S，a∈A(s)，且Q(終止狀態，)＝0；

重復，對于每個片段；

初始化狀態S；

重復，對于每個片段的每一步；

根據Q選擇一個S處的動作A；

執行動作A，觀測R，S'；

Q(S，A)←Q(S，A)+a(R+γmaxg Q(S'，a)-Q(S，A))；

S←S'；

直到S是終止狀態并收斂。