[發明專利]一種多無人艇協同路徑規劃方法

在審

• 申請號: 201811251390.4
• 申請日: 2018-10-25
• 公開（公告）號: CN109540136A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 蘇厚勝;彭雅欣;王曉玲;余明暉;張海濤;耿濤
• 申請（專利權）人: 廣東華中科技大學工業技術研究院
• 主分類號: G01C21/20
• 分類號: G01C21/20
• 代理公司: 東莞卓為知識產權代理事務所(普通合伙) 44429
• 代理人: 梁年順

1.一種多無人艇協同路徑規劃方法，包括以下步驟：

S1，根據任務要求和航行環境，采用Q-learning算法對單個無人艇進行初步路徑規劃，并縮短路徑；

S2，分析各無人艇的初始路徑，基于時間差值判斷各無人艇之間是否會發生碰撞；

S3，對可能發生碰撞的多個無人艇，賦予基于運動時間的優先級，完成多無人艇協同避碰，得到最終路徑；

S4，利用數據內插法將折線段擬合為曲線段，實現路徑的平滑處理。

2.根據權利要求1所述的多無人艇協同路徑規劃方法，其特征在于，所述步驟S1還包括：

S101，根據任務要求，明確無人艇出發點和目標點，根據海面航行環境，確定無人艇路徑區域內的障礙物；

S102，將海面環境離散化為網格地圖，將無人艇縮小為一個網格點，根據障礙物尺寸形狀將其用網格點描述，并且根據無人艇的尺寸進行擴充，將無人艇的出發點和目標點分別視為一個網格點；

S103,采用Q-Learning算法對單個無人艇進行初步路徑規劃，得到各自的初始路徑；

S104，用路徑節點和路徑段描述路徑，對初始路徑進行不斷的檢測去除多余點，從而縮短路徑距離；

在原來由網格構成的路徑的基礎上，以網格中心為參考點，參考點之間的連線作為路徑，構成新的路徑表示方法，即路徑由路徑節點和線段構成，無人艇的出發點和目標點分別為第一個和最后一個路徑節點；

設有n艘同時執行任務的無人艇，無人艇X_i(i＝1,2,…,n)的路徑點為{p_i,1，p_i,2，…，p_i,k，…}，其中p_i,k為X_i的第k個路徑節點，將網格地圖置于坐標系中，原點置于網格地圖左下角網格的中心，設網格單位長度為1，則路徑點p_i,k的坐標為(x_i,k,y_i,k)，并且均為整數值；

搜索當前路徑點后的若干路徑節點，如果路徑節點可以從當前路徑節點p_i,current直接到達路徑節點p_i,k，則修改路徑，使p_i,current后的路徑節點為p_i,k，刪除原始路徑的中間路徑節點，連接p_i,current和p_i,k構成新的路徑段，繼續搜索，直到達到目標點，對所有路徑節點順次編號，完成縮短路徑。

3.根據權利要求2所述的多無人艇協同路徑規劃方法，其特征在于，還包括：建立無人艇的MDP模型，網格地圖上每一個網格點的位置代表一個無人艇的狀態S，無人艇選擇的移動方向認為是模型中采取的動作A；設定一個網格點內無人艇有4個移動方向，即包圍網格點的相鄰4個網格點；

隨機初始化地圖上每一個網格點的Q值，Q(s,a)即狀態s下采取動a的Q值；初始化回報函數，其中目標點的回報函數值設定為100，其余點回報函數值設置為-1，作為尋路代價；設定強化學習的學習率α為：

其t為迭代次數；

初始化初始狀態S，使其為無人艇的起始點；

對這一代中每一步重復以下步驟：

根據當前地圖內每一個位置的Q值，從位置s下所存在的所有動作中，根據ε-greedy選擇一個移動方向A，其中ε-greedy中的ε取0.05；

執行A，觀察回報函數R和無人艇的新位置S′；

根據以下公式對地圖Q值進行更新：

Q(S,A)←Q(S,A)+α[γmax_aQ(S',a)-Q(S,A)]

其中：γ為強化學習折扣因子；

將位置S更新至位置S′；

以上的步驟將一直重復，直到位置S為無人艇的目標點，則迭代結束，進入下一次迭代；

以地圖上每一個位置周圍最大的Q值，從起始點開始，讓無人艇沿著Q值最大的位置點運動，即可得到無人艇在地圖上從起始點到目標點的初始路徑。