[發明專利]一種基于改進A*算法和深度強化學習的無人車路徑規劃方法

有效

• 申請號: 202010670465.3
• 申請日: 2020-07-13
• 公開（公告）號: CN111780777B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 丘騰海;蒲志強;劉振;易建強;常紅星
• 申請（專利權）人: 江蘇中科智能制造研究院有限公司;中國科學院自動化研究所
• 主分類號: G01C21/34
• 分類號: G01C21/34
• 代理公司: 合肥左心專利代理事務所(普通合伙) 34152
• 代理人: 游玉香

本發明屬于無人車導航技術領域，具體涉及一種基于改進A*算法和深度強化學習的無人車路徑規劃方法，旨在充分發揮全局路徑規劃全局最優和局部規劃實時避障的優勢，以及改進A*算法的快速實時性和深度強化學習算法的復雜環境適應性，快速規劃出無人車從起始點到目標點的無碰撞最優路徑。本發明的規劃方法包括：根據環境信息，建立初始化柵格代價地圖；利用改進的A*算法規劃全局路徑；基于全局路徑和激光雷達傳感器性能，設計滑動窗口，將窗口探測的信息作為網絡的狀態輸入；基于深度強化學習方法，采用Actor?Critic架構，設計局部規劃網絡，本發明將知識和數據方法相結合，能夠快速規劃得到最優路徑，使得無人車擁有更高的自主性。

技術領域

本發明涉及無人車導航技術領域，具體為一種基于改進A*算法和深度強化學習的無人車路徑規劃方法。

背景技術

現如今無人車的應用場景呈現形態多樣化、應用多元化和環境復雜化的趨勢，比如京東倉儲物流車、服務機器人、工廠安防巡邏無人車、菜鳥物流無人車等。未來這種自動化、智能化的無人系統會越來越普及。其中無人車路徑規劃是支撐無人車自主機動能力的核心算法之一，是解決無人車如何從起始點到目標點，使得路徑最優的問題。通常情況下，要求在保證無人車自身安全的前提下，躲避障礙物，尋找一條路程最短或安全度最高的路徑。路徑規劃問題可以分為全局路徑規劃和局部路徑規劃。前者是指基于全局地圖信息，規劃出一條全局最優的無碰撞路徑。后者是指基于全局規劃路徑，解決無人車行進過程中碰到的部分未知區域或突發狀態，使得無人車依然能夠快速、及時、安全的到達目標點。

目前為止，國內外學者已提出很多無人車路徑規劃算法，全局路徑規劃包括A*算法、Dijkstra算法、遺傳算法等。其中A*算法利用啟發式信息避免Dijkstra算法的盲目性，減小了大量冗余的搜索空間，其問題在于得到的路徑未考慮無人車的連續性機動減速，與障礙物距離過近，無法及時避免潛在風險，且存在路徑不平滑的缺點。另外，全局路徑規劃依賴全局環境信息，其數據存儲量和計算量較大，應用場景有限。而人工勢場法、DWA算法等局部路徑規劃的常用算法，具有較好的實時性，但存在容易陷入局部最優的問題，且由于全局信息未知，可能丟失目標，陷入局部振蕩的狀態，因此，本發明設計一種基于改進A*算法和深度強化學習的無人車路徑規劃方法以解決現有技術中存在的問題。

發明內容

為解決現有無人車導航技術中的上述問題，本發明提出一種基于改進A*算法和深度強化學習的無人車路徑規劃方法，所述方法將全局路徑規劃與局部路徑規劃相結合，充分發揮全局路徑規劃全局最優和局部規劃實時避障的優勢，以及改進A*算法的快速實時性和深度強化學習算法的復雜環境適應性，在環境信息部分未知或遇見突發情況下，依然能夠快速規劃求解出無人車從起始點到目標點的無碰撞最優路徑。本發明所采取的技術方案為：

一種基于改進A*算法和深度強化學習的無人車路徑規劃方法，包括以下步驟：

(1)根據環境信息，建立初始化柵格代價地圖。利用SLAM技術對環境進行地圖建模，提取障礙物信息，標定障礙物類型，通過代價模型對障礙物周圍柵格的威脅進行評估。

(2)利用改進的A*算法規劃全局路徑。考慮障礙物代價和路徑轉折點過多的問題，引入啟發式信息，改進A*算法模型，優化全局規劃結果；

(3)基于全局路徑和激光雷達傳感器性能，設計滑動窗口，將窗口探測的信息作為網絡的狀態輸入，進行局部規劃。具體步驟為：

1)根據激光雷達探測距離初始化滑動窗口大小為W，W是奇數；

2)以無人車起始位置作為滑動窗口的中心原點O_w；

3)將全局規劃路徑序列在滑動窗口內路徑段的最后一個點作為臨時目標點T_w；

4)當無人車到達臨時目標點后，將該時刻的臨時目標點作為起始點，切換滑動窗口。