[發明專利]基于目標分層雙感知域的強化學習的無人車路徑規劃方法

有效

• 申請號: 202210495925.2
• 申請日: 2022-05-09
• 公開（公告）號: CN114578834B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 呂曉旭;張釗;楊拓;任耘霄;段志生
• 申請（專利權）人: 北京大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了基于目標分層雙感知域的強化學習的無人車路徑規劃方法，充分考慮無人車的動力學約束；通過設定子目標層級縮小地圖區域的維度；通過目標分層方法使得子目標層處在安全區的中間部位；通過設置雙感知域包括障礙物感知域和目標發現域減少觀測輸入，將障礙物感知和目標發現分開解耦；實現基于目標分層雙感知域的深度強化學習的無人車路徑規劃。本發明方法對不同維度的地圖都能夠適應使用，且在訓練中避免了維數災難，計算效率高，適用性強，能夠滿足實時路徑規劃的實際需求。

技術領域

本發明涉及機器人路徑規劃技術領域，特別涉及一種基于目標分層雙感知域的深度強化學習的無人車路徑規劃方法。

背景技術

路徑規劃是無人車系統架構中運動決策的重要模塊，是實現無人運動的重要技術。路徑規劃結果的好壞直接決定了無人車任務能否完成以及任務完成的質量。設計和開發滿足車輛動力學約束，計算快速性，規劃實時性和最優性指標的路徑規劃算法是路徑規劃面臨的主要任務。近些年，路徑規劃的研究非常的活躍，尤其在人工智能技術取得了巨大成果的今天，如何利用人工智能技術發展和完善路徑規劃技術成為了重要的研究課題。

基于深度強化學習的路徑規劃算法已經有了一些初步的成果，但現有的路徑規劃算法大多是針對特定維度的地圖進行強化學習路徑規劃。這些算法存在著如下問題：首先，當面對不同維度的地圖時，由深度強化學習訓練出的路徑規劃器不具有普適性，針對不同維度的地圖，需要重新進行訓練；其次，隨著地圖維度的增大，訓練的復雜度呈現指數級增長，可能會出現維數災難的問題；最后，還有很多的深度強化學習路徑規劃算法沒有考慮無人車動力學約束。除此以外，傳統的考慮動力學約束的路徑規劃算法，其算法求解時間長，不能很好的滿足實時規劃的要求。

發明內容

為了克服上述現有技術的不足，本發明提供一種基于目標分層雙感知域的深度強化學習路徑規劃方法，充分考慮了無人車的動力學約束，計算效率高，適用性強，能夠滿足實時路徑規劃的實際需求。

本發明提供的技術方案是：

一種基于目標分層雙感知域的深度強化學習的無人車路徑規劃方法，該方法通過子目標層級的設定，減少了路徑規劃網絡模型需要使用到的地圖區域的維度；通過采用目標分層方法使得子目標層處在安全區走廊的中間部位，避免由于搜索算法使路徑貼近障礙物的情形出現；通過使用障礙物感知域和目標發現域雙感知域減少觀測輸入，將障礙物感知和目標發現分開解耦；該方法對不同維度的地圖都能夠適應使用，且在訓練中避免了維數災難，充分考慮了無人車的動力學約束。具體包括如下步驟：

步驟1，讀取無人車行駛區域的（0，1）值二維像素地圖（柵格地圖），進行坐標轉換和全局對齊后獲得路徑規劃使用的世界地圖，同時從世界地圖中提取出障礙物位置，并獲取當前無人車的位置狀態和目標位置狀態；

步驟2，基于步驟1的世界地圖，通過使用基于圖搜索的算法搜索出一條可通行路徑，使用安全區擴張的方法得到沿此可通行路徑的安全區走廊，根據安全區走廊使用目標分層的方法獲得子目標點序列。獲取子目標點序列的方法包括：

步驟2A, 基于步驟1得到的地圖和無人車當前位置以及目標位置，通過使用基于圖搜索的算法（如采用D*Lite算法）搜索出一條可通行路徑；可通行路徑即是從無人車起始位置點到目標位置點、由一系列避開障礙物位置點的連續相接的點組成的路徑；

步驟2B, 沿著步驟2A得到的可通行路徑。圍繞可通行路徑中的每個路徑點，產生包含此路徑點的最大范圍的長方形無障礙安全區；進一步形成一條由相互重疊安全區組成的安全區走廊；安全區走廊的產生方法為：

1）定義長方形安全區的四個頂點：A,B,C,D，由此得到長方形的四個邊：AB,BC,CD,DA,將這四個頂點的位置都初始化為路徑點的位置（坐標）；

2）將這四條邊依次向四周擴張，檢測邊與障礙物的接觸情況，直到擴張到障礙物邊界，最終得到包含該路徑點的最大無障礙物長方形安全區；