[發明專利]一種基于蝙蝠算法與強化學習的路徑規劃方法

有效

• 申請號: 201910854519.9
• 申請日: 2019-09-10
• 公開（公告）號: CN110632922B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 邱騰飛;朱敬旭輝;劉信潮;趙景波;張文彬
• 申請（專利權）人: 青島理工大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G01C21/20
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 馬千會

本發明屬于智能機器人技術領域，具體涉及機器人的路徑規劃方法。基于蝙蝠算法與強化學習的路徑規劃方法，包括：確定路徑規劃的初始位置和目標位置，采用適應度函數確定兩位置的函數值，根據蝙蝠算法得到蝙蝠的初始狀態和最終狀態；以＜α，γ＞為強化學習的動作，從蝙蝠的初始狀態開始，對所述動作進行強化學習訓練，使每一個狀態得到一個最優動作，將訓練得到的狀態?動作對保存到Q表中；所述＜α，γ＞為蝙蝠算法的響度衰減系數α和脈沖發射率增強系數γ的組合；從Q表中選取最優的狀態?動作對，代入蝙蝠算法中，得到最優的蝙蝠位置；從而規劃出初始位置到目標位置的最優路徑。本發明的基于蝙蝠算法與強化學習的路徑規劃方法，將蝙蝠算法和強化學習相結合，確保在規避障礙物的前提下更加有效、快速的實現智能機器人路徑自主規劃。

技術領域

本發明屬于智能機器人技術領域，具體涉及機器人的路徑規劃方法。

背景技術

移動機器人是靠自身動力和控制能力來實現各種功能的一種機器，具有通用性和智能性的特點。工業機器人被逐步應用于實際的工業生產中，代替工人進行各種操作任務，如搬運、焊接、裝配等，將工人從繁瑣重復的工作中解放出來。由于工業機器人的批量使用，使生產流程工序自動化、簡潔化，顯著降低了生產成本，提高了生產利潤。

隨著機器人的應用領域不斷擴大，作業環境日益復雜化，機器人的自主導航成為亟待解決的首要問題。機器人的自主導航主要分為兩方面技術：機器人路徑規劃和路徑跟蹤。

路徑規劃問題是尋找一條從初始位姿到最終位姿的路徑，并滿足最優，使得移動安保巡邏機器人在通過路徑時不與任何靜止或動態障礙物發生碰撞，這是移動機器人最基本的條件。也就是說，做好路徑規劃應從這3個方面出發：(1)明確起始位置及終點；(2)避開障礙物；(3)盡可能做到路徑上的優化。一般的連續域范圍內路徑規劃問題，其一般步驟主要包括環境建模、路徑搜索和路徑平滑三個環節。傳統的路徑規劃算法有人工勢場法、模擬退火算法、模糊邏輯算法和禁忌搜索算法等。這些傳統的路徑規劃算法在某種程度上收斂速度慢，在概率上完備但并不完美。

專利CN201310488139是一種純路徑規劃類的算法，該算法是A*算法的改進，主要針對open表中節點多、耗時多的問題進行改進，主要應用與機器人二維三維空間的快速路徑規劃。該專利主要從路徑規劃方向出發，所以得出的路徑有可能離障礙物很近，從而對于實際半徑寬度的機器人可能在行走的過程中就會觸碰障礙物，導致行走受阻。專利CN201510028275是一種采用加入淘汰機制的魚群算法針對具有神經網絡結構的控制器對移動機器人進行控制，并憑借神經網絡的泛化性能來學習到避障和目的地的行為的算法。該算法基于機器學習理論。但學習的過程是一個訓練的過程，且需要很多的數據進行測試。

針對目前已有的研究，解決實際問題時，在機器人路徑規劃的合理性、避障的可靠性和路徑跟蹤控制的實時性、準確性等方面還存在較大的提升空間。

發明內容

本發明目的在于解決現有技術中存在的問題，提供基于蝙蝠算法和強化學習相結合的機器人自主路徑規劃算法。

本發明解決其技術問題采用的技術手段是：基于蝙蝠算法與強化學習的路徑規劃方法，包括：

確定路徑規劃的初始位置和目標位置，采用適應度函數確定兩位置的函數值，根據蝙蝠算法得到蝙蝠的初始狀態和最終狀態；

以α，γ為強化學習的動作，從蝙蝠的初始狀態開始，對所述動作進行強化學習訓練，使每一個狀態得到一個最優動作，將訓練得到的狀態-動作對保存到Q表中；所述α，γ為蝙蝠算法的響度衰減系數α和脈沖發射率增強系數γ的組合；

從Q表中選取最優的狀態-動作對，代入蝙蝠算法中，得到最優的蝙蝠位置；從而規劃出初始位置到目標位置的最優路徑。

作為本發明的一種優選方式，所述蝙蝠的初始狀態和最終狀態的算法過程為：

Step 1：種群初始化；