[發明專利]一種基于強化學習的智能船舶自主避碰及路徑規劃方法

有效

• 申請號: 202011222017.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112180950B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 萬程鵬;趙銀祥;崔一帆;張笛;張金奮
• 申請（專利權）人: 武漢理工大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 李丹

本發明公開了一種基于強化學習的智能船舶自主避碰及路徑規劃方法，包括以下步驟：1)獲取本船周圍的環境信息以及本船信息，感知環境狀態空間；2)根據環境狀態空間內的障礙物位置、航速，航向在內的相關信息計算避碰參數，判斷是否存在碰撞風險；3)如果無碰撞風險，則直接進行路徑規劃；如果存在碰撞風險，則建立融合LSTM和強化學習原理搭建的智能船避碰模型，尋找避讓的最佳避碰策略，獲取對應的本船避碰所需的航速和航向；4)避碰策略執行結束之后，根據設定條件確定碰撞風險消失的臨界位置點作為新的起點，然后利用路徑規劃算法重新進行路徑規劃。本發明引入了LSTM神經網絡，運用Bellman方程更新最優策略，實現避碰動作的連續性。

技術領域

本發明涉及路徑規劃技術，尤其涉及一種基于強化學習的智能船舶自主避碰及路徑規劃方法。

背景技術

隨著人工智能技術的發展，船舶智能化、自動化的發展已經成為一個主流趨勢。目前對于智能船舶避碰和路徑規劃的研究有很多，如果采用現有的方法進行避碰和路徑規劃，往往會造成分析量大、不符合避碰規則以及路徑規劃不及時、不智能等結果，難以實現快速的避碰決策以及路徑規劃。為了保障智能船舶航行安全，亟需一種能夠實現自主避碰以及實時路徑規劃的方法。

發明內容

本發明要解決的技術問題在于針對現有技術中的缺陷，提供一種基于強化學習的智能船舶自主避碰及路徑規劃方法。

本發明解決其技術問題所采用的技術方案是：一種基于強化學習的智能船舶自主避碰及路徑規劃方法，包括以下步驟：

1)獲取本船周圍的環境信息以及本船信息，感知環境狀態空間；

所述環境信息為本船周圍的船舶信息包括周圍船舶的經度、緯度、航速、航向、船長、船寬、真方位、相對方位、MMSI信息；

所述本船信息包括船速、航向、吃水深度、經度、緯度信息；

2)根據環境狀態空間內的障礙物位置、航速，航向在內的相關信息計算DCPA、TCPA和SDA避碰參數，判斷是否存在碰撞風險；

3)如果無碰撞風險，則直接(利用Dijkstra算法)進行路徑規劃；如果存在碰撞風險，則建立融合LSTM和強化學習原理搭建的智能船避碰模型，尋找避讓的最佳避碰策略，獲取對應的本船避碰所需的航速和航向；

5)避碰策略執行結束之后，根據設定條件確定碰撞風險消失的臨界位置點作為新的起點，然后利用Dijkstra算法重新進行路徑規劃。

按上述方案，所述步驟2)中避碰參數DCPA、TCPA、SDA計算如下：

DCPA計算公式:

TCPA計算公式:

其中(x，y)表示本船的位置，(x₀，y₀)表示障礙物的位置，表示相對航向，α_t目標船真方位，v_r表示相對航速；

SDA計算公式：

其中R_f、R_a、R_p、R_s分別為圖2船舶領域模型的縱向半徑的前后半徑，橫向半徑的左右半徑，q為障礙物方位。

按上述方案，所述步驟3)中建立融合LSTM和強化學習原理搭建的智能船避碰模型，具體如下：

3.1)根據對環境的感知構建Markov決策過程E＝S，R，P，A，其中，S為狀態空間，R為獎勵空間，P為狀態轉移概率，A為動作空間；

3.2)數據準備：對船舶的靜態數據和動態參數進行預處理，包括：