[發明專利]基于逆向強化學習的移動機器人擬人化路徑規劃方法

有效

• 申請號: 202010556856.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111596668B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 遲文政;丁智宇;陳國棟;孫立寧
• 申請（專利權）人: 蘇州大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 王玉仙

1.一種基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于，包括如下步驟：

步驟S1：創建運動規劃場景，作為地圖，根據機器人在所述地圖上的信息采集數據集，根據機器人在所述地圖上的信息采集數據集的方法為：在所述地圖中設定機器人的起點和終點坐標，將終點坐標標注在地圖上；控制機器人從起點運行到終點，并記錄機器人在運行過程中的數據；

步驟S2：規定一個訓練輪回的場景數，所述訓練輪回的場景數的數量與所述數據集中的訓練集中場景數的數量相同；

步驟S3：計算當前場景的代價地圖，所述代價地圖的計算方法為：計算地圖中每一個點的各個特征對應的特征值，包括該點到目標點距離、該點到最近障礙物的距離、該點在行人模型的位置對應的高斯模型代價值，遍歷地圖，計算得到特征代價地圖，點到目標點距離f₁、點到最近障礙物的距離f₂、點在行人模型的位置對應的高斯模型代價值，模型前面f₃、模型后面f₄、模型右面f₅，構成了一組某個點的特征值向量f＝[f₁，f₂，f₃，f₄，f₅]^T，點x_k各個特征對應的特征值的計算方法分別為：f₁(x_k)＝||x_k，x_goal||、其中，Y表示正則化參數，a1，a2表示函數的調節參數，d_jk表示節點到第j個行人的距離，α_jk表示節點與第j個行人的角度，||·||表示兩點間的歐氏距離，對單個點x_k的成本函數遍歷地圖，計算得到特征代價地圖，f表示節點的特征值，w表示特征值對應的權重；

步驟S4：在所述代價地圖中機器人自主重復規劃多次路徑，計算規劃路徑的特征和以及所述數據集中示范路徑的特征和；

步驟S5：判斷示范路徑與規劃路徑是否同倫，若同倫，進入步驟S7，若否，則繼續判斷示范路徑是否比規劃路徑長，若是，進入步驟S6，若否，進入步驟S7；

步驟S6：引入懲罰函數增加規劃路徑的特征和；

步驟S7：計算規劃路徑的平均特征和；

步驟S8：判斷是否訓練完一個輪回，若是，計算所述訓練輪回場景數中所有規劃路徑的平均特征和以及示范路徑的平均特征和，進入步驟S9；若否，計算下一個場景的代價地圖，返回步驟S4；

步驟S9:計算梯度，根據梯度下降算法更新特征權重，判斷各個特征的權重是否收斂，若是，終止訓練過程，返回逆向強化學習最終學習到的特征權重，若否，計算下一個場景的代價地圖，返回步驟S4。

2.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：所述場景包括靜態地圖和行人位置、機器人的出發點以及目標點、行人運動方向。

3.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：所述數據包括傳感器采集的環境信息、行人的坐標與方向、機器人的初始位置、目標點的坐標。

4.根據權利要求3所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：所述傳感器為激光雷達。

5.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：所述數據集還包括驗證集。

6.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：機器人自主重復規劃多次路徑的方法為：每個場景重復用RRT*算法產生多條規劃路徑。

7.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：所述懲罰函數為：l_demo、l_makeplan分別表示示范路徑和規劃路徑的長度。

8.根據權利要求1所述的基于逆向強化學習的移動機器人擬人化路徑規劃方法，其特征在于：終止訓練過程，返回逆向強化學習最終學習到的特征權重后，根據獲得的特征權重進行路徑規劃，驗證機器人在人機共融環境中的導航效果。