[發(fā)明專利]基于深度強化學習DQN的多AGV路徑規(guī)劃避障方法

在審

• 申請?zhí)枺?/td>: 202310307325.3
• 申請日: 2023-03-27
• 公開（公告）號: CN116339333A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 黃巖松;姚錫凡
• 申請（專利權）人: 華南理工大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 黃月瑩

本發(fā)明一種基于深度強化學習DQN的多AGV路徑規(guī)劃避障方法，其包括以下步驟：根據(jù)激光雷達點云數(shù)據(jù)構建周圍環(huán)境地圖，并將其轉換為柵格地圖；根據(jù)柵格地圖信息構建AGV的觀察矩陣和狀態(tài)向量，觀察矩陣記錄AGV周圍是否存在其他AGV且這些AGV的運行方向；構建針對單AGV的多起點多終點路徑規(guī)劃模型；將構建的模型應用在環(huán)境中所有AGV上，計算出每個AGV在不考慮其他AGV的情況下的預動作，依據(jù)AGV觀測范圍內其他AGV的預動作得到觀測矩陣，利用觀測矩陣對模型結果進行修正。相較于其他啟發(fā)式算法或利用深度強化學習的方法構建多AGV路徑規(guī)劃的方法相比，本發(fā)明能夠保證AGV在躲避碰撞的同時保持最優(yōu)的動作選擇。

技術領域

本發(fā)明涉及一種基于深度強化學習DQN的多AGV路徑規(guī)劃避障方法，屬于移動機器人導航技術領域。

背景技術

近年來，自動引導小車(Auto?Guide?Vehicle，AGV)因其響應快、可控性強、工作效率高、安全性好的特點帶來的高柔性和自動化程度高的優(yōu)勢，使其作為物料運輸工具在倉儲系統(tǒng)與制造工廠中都起到了重要作用。

路徑規(guī)劃算法研究是AGV研究內容中最重要的技術之一，其研究的目的是在已知的AGV起點和終點之間，根據(jù)不同的需求規(guī)劃出一條最優(yōu)或者次優(yōu)的AGV移動線路，以保證運輸過程的通暢與高效。當系統(tǒng)趨于龐大和復雜時，為保證系統(tǒng)有序高效的運行，需要多個AGV在其中協(xié)同合作。在系統(tǒng)中包含多個AGV時，除了需要為每臺AGV規(guī)劃合理高效地到達終點的路徑外，還需要考慮AGV之間的碰撞躲避問題。在保障AGV之間不發(fā)生碰撞和死鎖的情況下，為每個AGV規(guī)劃一條到達終點的合理路徑。

現(xiàn)有的大多數(shù)針對多AGV的路徑規(guī)劃算法的求解思路是利用啟發(fā)式或元啟發(fā)式算法對每個AGV分別進行路徑規(guī)劃，并對AGV將要遇到的碰撞情況進行預測分析，若AGV將要發(fā)生碰撞，則采取一定的方法重新規(guī)劃路線躲避碰撞。但是，這樣的方法存在以下的問題：當環(huán)境較為復雜，環(huán)境中AGV數(shù)量較多時，傳統(tǒng)的路徑搜索算法計算量較大，實時性較差，可能無法短時間給出最優(yōu)的AGV運行和避障的策略；現(xiàn)有方法大多數(shù)對AGV之間碰撞情況的分析停留在四方向上，即AGV能夠向上，下，左，右四個方向移動，這大大限制了AGV的運行空間和靈活性。

一種多機器人路徑規(guī)劃的避障方法(Haodong?Li,Tao?Zhao,SongyiDian.Prioritized?planning?algorithm?for?multi-robot?collision?avoidance?basedon?artificial?untraversable?vertex[J].Applied?Intelligence(2022)52:429–451.)，基于機器人的動作和位置定義了五種機器人之間的碰撞，同時構建針對這些碰撞的規(guī)避提出了人工不可穿越頂點的概念。最后結合D*Lite方法進行路徑規(guī)劃和避障。由于碰撞規(guī)避的策略是人為規(guī)定的有限的方式，不能囊括所有多機器人之間的碰撞情況，同時在機器人進行避障的過程中忽略了路徑最優(yōu)，在避障過后重新規(guī)劃機器人到達終點的路徑也更加繁瑣。針對以上不足，提出了一種自適應的基于深度強化學習的避障方式，可以在避障的同時兼顧最優(yōu)路徑選擇，提升計算效率的同時也能較好降低計算的復雜度。

發(fā)明內容

為了解決上述背景技術中存在的問題，本發(fā)明提供了一種基于深度強化學習DQN的多AGV路徑規(guī)劃避障方法。

本發(fā)明至少通過如下技術方案之一實現(xiàn)。

一種基于深度強化學習DQN的多AGV路徑規(guī)劃避障方法，包括以下步驟：

步驟1、根據(jù)激光雷達點云數(shù)據(jù)構建周圍環(huán)境地圖，并將地圖轉換為柵格地圖；柵格地圖的信息包括各AGV的位置、障礙物的尺寸；

步驟2、根據(jù)柵格地圖信息構建AGV的觀察矩陣和狀態(tài)向量，觀察矩陣記錄AGV周圍是否存在其他AGV且其他AGV的運行方向；狀態(tài)向量包括包含以下三個部分：終點位置、AGV當前位置與終點的關系、周圍環(huán)境信息；