[發明專利]一種基于強化學習的變電站內巡檢機器人路徑規劃方案

在審

• 申請號: 202110449805.4
• 申請日: 2021-04-25
• 公開（公告）號: CN113515119A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 劉晨;陳亞鵬;周振宇
• 申請（專利權）人: 華北電力大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于強化學習的變電站內巡檢機器人路徑規劃方案，該方案針對變電站巡檢場景，在獲取實際變電站環境信息之后，通過柵格法建立變電站環境模型，并采用SARSA算法設計巡檢機器人路徑規劃方案，以貪婪策略代替Q?learning中的貪婪策略，通過更為保守的路徑規劃，減少巡檢機器人與障礙物發生碰撞的概率，大大延長其使用壽命。此外，通過對SARSA算法中獎賞的設計，減少機器人到達同一個巡檢點位的次數，保證機器人快速高效地完成巡檢任務。與現有技術相比，本發明能夠實現以巡檢機器人為主體的自主路徑選擇與安全避障，達到性能的快速高效收斂，對場景的適應能力更強，業務性能更優。

技術領域

本發明屬于電力巡檢技術領域，具體涉及一種基于強化學習的變電站內巡檢機器人路徑規劃方案。

背景技術

作為電力運維保障的重要組成部分，變電站巡檢可以實時掌握電氣設備的運行情況，及時發現故障和異常，防止因突發事故造成變電站功能癱瘓，保障電網的安全穩定運行。傳統變電站巡檢主要采用人工方式，往往存在巡檢人員主觀能動性差、漏檢現象嚴重、難以建立電子化檔案等問題，在電力物聯網廣泛建設的當下已然不能完全滿足要求。目前，許多變電站已采用先進的電力巡檢機器人實現對站內地面設施的常態化巡檢，以確保及時發現故障并報告。

然而，變電站無人巡檢也往往存在難以進行有效路徑規劃的問題。

1）變電站中，各類電氣設備分布情況復雜，部分變電站地面年久失修，無法供機器人安全通行，而需要進行巡檢的點位往往呈隨機分布，且與各類電氣設備在地理位置上高度相關。因此，在進行巡檢路徑規劃時，如何實現安全避障是一個亟待解決的問題。

2）受限于有限的電池容量，機器人需要合理規劃巡檢路徑的同時盡可能保證巡檢路徑最短，減少對某一巡檢點位多次重復的巡檢，造成不必要的資源浪費。因此，如何實現巡檢路徑的最短和巡檢任務的快速完成是另一個亟待解決的問題。

傳統巡檢路徑規劃方案往往采用遺傳算法、蟻群算法、模擬退火算法等啟發式算法，此類算法對場景參數的要求較高，存在算法復雜度高、性能收斂慢、優化結果不穩定等問題，容易發生陷入局部最優的情況，且適應性差，難以應對靈活多變的變電站場景。而采用強化學習算法可以實現以巡檢機器人為主體的自主路徑選擇與安全避障，通過在模擬場景中不斷“試錯”，以達到性能的快速高效收斂，相較于傳統方式對場景的適應能力更強。

發明內容

有鑒于此，本發明的目的在于提出一種基于強化學習的變電站內巡檢機器人路徑規劃方案，以實現有效的安全避障和路徑規劃。

為達到上述目的,本發明提供如下技術方案。

一種基于強化學習的變電站內巡檢機器人路徑規劃方案，該方案針對變電站巡檢場景，通過柵格法對實際變電站環境建模，并采用SARSA算法設計巡檢機器人路徑規劃方案，在解決巡檢機器人安全避障問題的同時合理規劃巡檢路徑，適應實際變電站的復雜環境。該方案具體包括以下步驟。

S1：獲取實際變電站環境信息，建立變電站環境模型。

S2：設計基于SARSA算法的變電站內巡檢機器人路徑規劃方案。

S3：簡述具體方案流程，并將其在變電站環境模型中進行重復訓練。

S4：通過仿真實例驗證本發明所提方案的有效性。

進一步的，所述步驟S1中，利用柵格法對變電站環境進行建模，將其抽象為的柵格圖。在變電站環境模型中，白色區域表示變電站內的可通行道路，乘號區域表示障礙物。巡檢機器人、巡檢點位及充電倉分別用五角星、加號和正五邊形表示。

進一步的，所述步驟S2中，設計基于SARSA算法的巡檢機器人路徑規劃方案，主要包括智能體、環境、狀態、動作以及獎賞的設計。其中，在獎賞的設計過程中，當巡檢機器人再次經過已到達的巡檢點位時，無法重復獲得獎勵值，從而引導巡檢機器人減少到達同一個巡檢點位的次數。