[發明專利]一種基于深度強化學習的水下自主航行器動態避障方法

有效

• 申請號: 202110098934.3
• 申請日: 2021-01-25
• 公開（公告）號: CN112925319B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 孫玉山;羅孝坤;張國成;李岳明;薛源;于鑫;張紅星
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 于歌

一種基于深度強化學習的水下自主航行器動態避障方法，涉及水下機器人避障技術領域。本發明是為了解決目前缺乏水下自主航行器對動態障礙物的避障研究的問題。本發明建立水下自主航行器模型與運動學模型，獲取周圍障礙物的信息；采集水下自主航行器周圍機動障礙物的運動狀態信息，并構造動態障礙物狀態方程；根據動態障礙物狀態方程預測動態障礙物運動學模型；根據水下自主航行器周圍障礙物的信息和動態障礙物運動學模型，融合多動態障礙物避障法生成避障策略并轉化為MDP模型；結合確定性深度策略梯度算法對MDP模型進行訓練，直至水下自主航行器能夠無碰撞的到達目標區域；利用訓練好的MDP模型引導水下自主航行器航行。

技術領域

本發明屬于水下機器人避障技術領域。

背景技術

近年來，伴隨著海洋開發、海洋軍事應用的需要，新材料、新能源和人工智能等技術的不斷進步，各國的海洋大國都加快了對水下自主航行器(autonomous underwatervehicle，AUV)的研究步伐并取得重要進展。與載人水下航行器相比，AUV憑借著機動性強、作用域廣、無人員傷亡風險、適應能力與生存能力高、制造與維護成本低等優勢得到了各國學者的重點關注。并且水下自主航行器已不僅限于海洋環境使用，如今逐漸應用于各種水域，如航道水域、輸水隧洞、港口水域等，成為對水下世界的探索、水下環境探測和水下救援等的關鍵性設備。

水下環境復雜多變，當水下自主航行器到達水下航行時，水下自主航行器面臨著大大小小的障礙物，有靜止的也有運動的，它們嚴重威脅著水下自主航行器的運行安全。目前大多數的研究者在水下自主航行器的靜態障礙物避障方面也取得了大大小小的進展，但是對于動態障礙物的避障研究很少開展。在水下有各種動態障礙物，如水下漂浮物、航行船只等，水下自主航行器必須具備很高的自主避障能力才能完成指定任務，安全返航。因此水下自主航行器在有多個動態障礙物環境中自主避障研究是水下自主航行器領域重要技術之一。

發明內容

本發明是為了解決目前缺乏水下自主航行器對動態障礙物的避障研究的問題，現提供一種基于深度強化學習的水下自主航行器動態避障方法。

一種基于深度強化學習的水下自主航行器動態避障方法，包括以下步驟：

步驟一：建立水下自主航行器模型與運動學模型，從而獲取水下自主航行器周圍障礙物的信息；

步驟二：采集水下自主航行器周圍機動障礙物的運動狀態信息，并構造動態障礙物狀態方程，所述運動狀態信息包括：運動狀態向量、狀態轉移矩陣、過程噪聲和輸入控制矩陣；

步驟三：利用概率數據關聯的粒子濾波方法根據動態障礙物狀態方程預測動態障礙物運動學模型；

步驟四：根據步驟一獲得的水下自主航行器周圍障礙物的信息和步驟三獲得的動態障礙物運動學模型，在笛卡爾坐標系下建立多動態障礙物的在線訓練環境，并融合多動態障礙物避障法生成避障策略；

步驟五：將步驟四生成的避障策略轉化為MDP模型，并建立水下自主航行器面對多個動態障礙物時MDP模型的狀態集和動作集；

步驟六：將狀態集作為MDP模型的輸入、動作集作為MDP模型的輸出，結合確定性深度策略梯度算法對MDP模型進行訓練，直至MDP模型下水下自主航行器能夠無碰撞的到達目標區域；

步驟七：利用訓練好的MDP模型引導水下自主航行器航行。

進一步的，步驟一所述水下自主航行器模型包括：一個尾推進器、兩個側推進器和7個避障聲吶，水下自主航行器模型的測距聲吶采樣頻率為2Hz、探測距離為150m～200m，隨體坐標系下分布角度依次為：90°、60°、30°、0°、-30°、-60°、-90°；

運動學模型為水平面3自由度的運動學模型，其方程為：