[發明專利]一種電力線路的無人機自動巡檢系統及方法

有效

• 申請號: 202110055910.X
• 申請日: 2021-01-15
• 公開（公告）號: CN112904890B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 秦源汛;何紅太;周環;桂菲菲;熊鵬
• 申請（專利權）人: 北京國網富達科技發展有限責任公司
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 杜陽陽

1.一種電力線路的無人機自動巡檢系統，其特征在于，所述無人機自動巡檢系統包括：地面站系統、設置在無人機上的通訊模塊、位置和狀態感知模塊、慣性導航系統、邊緣計算模塊和控制中心單元；

所述通訊模塊、所述位置和狀態感知模塊、所述慣性導航系統和所述邊緣計算模塊均與所述控制中心單元連接，所述控制中心單元與無人機的執行機構連接；所述地面站系統與所述通訊模塊連接；

所述位置和狀態感知模塊用于獲取無人機的當前位置信息，并將無人機的當前位置信息發送給控制中心單元；所述慣性導航系統用于獲取無人機的當前速度信息和當前姿態信息，并將無人機的當前速度信息和當前姿態信息發送給控制中心單元；所述控制中心單元用于將無人機的當前位置信息、當前速度信息和當前姿態信息合并成無人機的當前狀態信息，并通過通訊模塊將無人機的當前狀態信息發送給地面站系統；

所述地面站系統用于根據用戶輸入指令、無人機的當前狀態信息生成下一時刻的目的狀態信息，并將所述目的狀態信息發送給控制中心單元，控制中心單元將無人機的當前狀態信息及目的狀態信息發送給所述邊緣計算模塊；

所述邊緣計算模塊用于利用訓練好的基于深度強化學習的代理模型，根據無人機的當前狀態信息及目的狀態信息生成飛行指令，并將所述飛行指令發送給所述控制中心單元；

所述控制中心單元用于將所述飛行指令轉換成執行機構控制指令，以控制無人機的執行機構；

所述無人機自動巡檢系統還包括歷史記錄模塊；

所述歷史記錄模塊與所述控制中心單元連接，所述控制中心單元用于將無人機的實際狀態信息和目的狀態信息及實際飛行指令實時的存入所述歷史記錄模塊；

所述控制中心單元還用于從所述歷史記錄模塊中讀取歷史的無人機的實際狀態信息和目的狀態信息及實際飛行指令，并發送給邊緣計算模塊；

所述邊緣計算模塊還用于根據歷史的無人機的實際狀態信息和目的狀態信息及實際飛行指令訓練基于深度強化學習的代理模型的Q函數，獲得一次訓練后的基于深度強化學習的代理模型；

利用實時的無人機的實際狀態信息以及目的狀態信息，對一次訓練好的基于深度強化學習的代理模型的u函數進行訓練，獲得訓練好的基于深度強化學習的代理模型；

所述利用歷史的無人機的實際狀態信息、實際飛行指令以及目的狀態信息，對基于深度強化學習的代理模型的Q函數進行訓練，獲得一次訓練好的基于深度強化學習的代理模型，具體包括：

將歷史飛行任務的每個歷史時刻的實際狀態信息和實際飛行指令輸入Q函數，獲得每個歷史時刻的Q函數值；

根據每個歷史時刻的Q函數值利用公式y_t＝-r_t+Q(S_t+1,C_t+1|θ^Q)，計算每個歷史時刻的實際飛行指令對應的品質評價值；其中，y_t表示t時刻的實際飛行指令對應的品質評價值，r_t表示t時刻的獎罰因子，其中，X_t＝(x_t,y_t,z_t)表示t時刻的實際位置，T_t＝(x′_t,y′_t,z′_t)表示t-1時刻確定的t時刻的目標位置，γ表示折扣因子，S_t+1表示在t時刻確定的t+1時刻的目標狀態信息，C_t+1表示t+1時刻的飛行指令，θ^Q表示Q函數的參數，Q(·)表示Q函數；

每個歷史時刻的實際飛行指令對應的品質評價值，利用公式計算所述飛行任務的損失函數值L；其中，S_t表示在t-1時刻確定的t時刻的目標狀態信息，C_t表示t時刻的飛行指令，N表示飛行任務的時間序列總數；

根據所述損失函數值，采用反誤差梯度反向傳播算法更新Q函數中的參數，返回步驟“將歷史飛行任務的每個歷史時刻的實際狀態信息和實際飛行指令輸入Q函數，獲得每個歷史時刻的Q函數值”，直到損失函數值小于損失函數閾值。