[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010699872.7
• 申請(qǐng)日: 2020-07-17
• 公開（公告）號(hào): CN111857142B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 藍(lán)雪婧;覃誠(chéng)軒;黃子恒
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué)
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法，包括如下步驟：步驟S1，構(gòu)建移動(dòng)機(jī)器人模型，基于Q學(xué)習(xí)算法對(duì)起點(diǎn)到目標(biāo)點(diǎn)進(jìn)行路徑規(guī)劃；步驟S2，當(dāng)檢測(cè)到移動(dòng)機(jī)器人當(dāng)前處于局部最優(yōu)點(diǎn)時(shí)，確定臨時(shí)目標(biāo)點(diǎn)，將所述目標(biāo)點(diǎn)更改為臨時(shí)目標(biāo)點(diǎn)，并以當(dāng)前位置為起點(diǎn)，所述臨時(shí)目標(biāo)點(diǎn)為目標(biāo)點(diǎn)，基于Q學(xué)習(xí)算法進(jìn)行路徑規(guī)劃，以向臨時(shí)目標(biāo)點(diǎn)方向移動(dòng)。

技術(shù)領(lǐng)域

本發(fā)明涉及路徑避障技術(shù)領(lǐng)域，特別是涉及一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法。

背景技術(shù)

在機(jī)器人研究學(xué)習(xí)當(dāng)中，導(dǎo)航技術(shù)是移動(dòng)機(jī)器人的基礎(chǔ)，而路徑規(guī)劃又是導(dǎo)航技術(shù)的基礎(chǔ)，所有智能移動(dòng)車都需要安裝避障路徑規(guī)劃系統(tǒng)。

避障規(guī)劃屬于局部路徑規(guī)劃，是一種動(dòng)態(tài)路徑規(guī)劃，主要用于探測(cè)障礙物，并跟蹤障礙物移動(dòng)軌跡推算下一步可能位置，以避免移動(dòng)機(jī)器人的路徑與之相交。現(xiàn)實(shí)中常會(huì)面對(duì)各種各樣的障礙物以及環(huán)境的復(fù)雜變化，在傳統(tǒng)的局部路徑規(guī)劃下，移動(dòng)機(jī)器人常常因無(wú)法繞過障礙物從而困于局部之中，因此，提高移動(dòng)機(jī)器人對(duì)環(huán)境的適應(yīng)性，對(duì)機(jī)器人導(dǎo)航能力的提升具有重大意義。

目前，移動(dòng)機(jī)器人的路徑規(guī)劃常采用人工勢(shì)場(chǎng)法，但是，人工勢(shì)場(chǎng)法的路徑規(guī)劃容易使得移動(dòng)機(jī)器人陷入局部最優(yōu)點(diǎn)，從而導(dǎo)致移動(dòng)機(jī)器人不能達(dá)到目標(biāo)位置。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明之目的在于提供一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法，以在檢測(cè)到移動(dòng)機(jī)器人陷入局部最優(yōu)點(diǎn)時(shí)，通過改變臨時(shí)目標(biāo)點(diǎn)從而使移動(dòng)機(jī)器人從局部最優(yōu)點(diǎn)逃逸并向正確的方向移動(dòng)。

為達(dá)上述及其它目的，本發(fā)明提出一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法，包括如下步驟：

步驟S1，構(gòu)建移動(dòng)機(jī)器人模型，基于Q學(xué)習(xí)算法對(duì)起點(diǎn)到目標(biāo)點(diǎn)進(jìn)行路徑規(guī)劃；

步驟S2，當(dāng)檢測(cè)到移動(dòng)機(jī)器人當(dāng)前處于局部最優(yōu)點(diǎn)時(shí)，確定臨時(shí)目標(biāo)點(diǎn)，將所述目標(biāo)點(diǎn)更改為臨時(shí)目標(biāo)點(diǎn)，并以當(dāng)前位置為起點(diǎn)，所述臨時(shí)目標(biāo)點(diǎn)為目標(biāo)點(diǎn)，基于Q學(xué)習(xí)算法進(jìn)行路徑規(guī)劃，以向臨時(shí)目標(biāo)點(diǎn)方向移動(dòng)。

優(yōu)選地，于步驟S2中，當(dāng)檢測(cè)到移動(dòng)機(jī)器人陷入局部最優(yōu)點(diǎn)時(shí)，則在角度β±δ上的距離L處創(chuàng)建兩個(gè)臨時(shí)目標(biāo)點(diǎn)P_R和P_L，并基于Q學(xué)習(xí)算法進(jìn)行路徑規(guī)劃以使移動(dòng)機(jī)器人往其中任意臨時(shí)目標(biāo)點(diǎn)方向移動(dòng)，其中，

(Agent.x，Agent.y)為移動(dòng)機(jī)器人當(dāng)前位置坐標(biāo)，(Goal.x，Goal.y)為所述目標(biāo)點(diǎn)的坐標(biāo)，δ為偏轉(zhuǎn)量，L的值大于地圖邊長(zhǎng)。

優(yōu)選地，δ取值

優(yōu)選地，當(dāng)檢測(cè)到移動(dòng)機(jī)器人再次陷入局部最優(yōu)點(diǎn)時(shí)，繼續(xù)交替設(shè)置臨時(shí)目標(biāo)點(diǎn)P_R和P_L，并基于Q學(xué)習(xí)算法進(jìn)行路徑規(guī)劃使移動(dòng)機(jī)器人往臨時(shí)目標(biāo)點(diǎn)方向移動(dòng)，直到繞過障礙物。

優(yōu)選地，于步驟S2中，當(dāng)檢測(cè)到移動(dòng)機(jī)器人陷入局部最優(yōu)點(diǎn)時(shí)，則首先使移動(dòng)機(jī)器人偏移到一側(cè)，多次迭代后記錄位置并計(jì)算由當(dāng)前位置和上次記錄位置形成的角度ω，并以為角度在以根據(jù)地圖和步長(zhǎng)調(diào)節(jié)的距離處創(chuàng)建臨時(shí)目標(biāo)點(diǎn)，重復(fù)此操作，并于此期間基于Q學(xué)習(xí)算法往不斷變化的臨時(shí)目標(biāo)點(diǎn)方向前進(jìn)，直到移動(dòng)機(jī)器人與實(shí)際目標(biāo)之間的距離略小于實(shí)際目標(biāo)與局部最優(yōu)點(diǎn)之間的距離。

優(yōu)選地，于步驟S2，在角度上的距離L處創(chuàng)建臨時(shí)目標(biāo)點(diǎn)并以臨時(shí)目標(biāo)點(diǎn)為目標(biāo)點(diǎn)前進(jìn)使移動(dòng)機(jī)器人偏移到一側(cè)。

優(yōu)選地，為增量，取值π/6。

與現(xiàn)有技術(shù)相比，本發(fā)明一種基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃避障輔助方法能夠在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上利用Q學(xué)習(xí)算法自身的特點(diǎn)，通過增設(shè)臨時(shí)目標(biāo)點(diǎn)，改變路徑達(dá)到逃離局部最優(yōu)點(diǎn)的目的并且往靠近目標(biāo)點(diǎn)道路上更進(jìn)一步。

附圖說明