[發(fā)明專(zhuān)利]一種密集行人環(huán)境下強(qiáng)化學(xué)習(xí)移動(dòng)機(jī)器人的導(dǎo)航方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110353618.6
• 申請(qǐng)日: 2021-03-31
• 公開(kāi)（公告）號(hào): CN113096161A
• 公開(kāi)（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 劉奇;李衍杰;牟涌金;許運(yùn)鴻;劉悅丞;高建琦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類(lèi)號(hào): G06T7/277
• 分類(lèi)號(hào): G06T7/277;G06K9/00;G06N3/04;G06N20/20;G01C21/20;G01C21/00
• 代理公司: 深圳市添源知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44451
• 代理人: 于標(biāo)

1.一種密集行人環(huán)境下強(qiáng)化學(xué)習(xí)移動(dòng)機(jī)器人的導(dǎo)航方法，其特征在于，包括以下步驟：

S101：采用JRMOT技術(shù)對(duì)行人軌跡進(jìn)行實(shí)時(shí)追蹤，其中，所述JRMOT技術(shù)在多目標(biāo)跟蹤MOT的基礎(chǔ)上引入3D檢測(cè)；

S102：基于獲取到的行人軌跡信息，采用空間-時(shí)間圖注意力模型對(duì)行人軌跡進(jìn)行預(yù)測(cè)；

S103：基于行人的歷史軌跡和預(yù)測(cè)軌跡，采用蒙特卡洛樹(shù)搜索方法和價(jià)值估計(jì)網(wǎng)絡(luò)進(jìn)行決策，獲得機(jī)器人的導(dǎo)航方案。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述JRMOT技術(shù)包括輸入、檢測(cè)、追蹤三個(gè)部分；

在輸入部分，包括2DRGB圖像和3D點(diǎn)云信息；對(duì)于2D檢測(cè)器，其輸入周?chē)h(huán)境2DRGB圖像，采用圖像分割Mask R-CNN或目標(biāo)檢測(cè)器YOLO架構(gòu)作為2D檢測(cè)器輸出一個(gè)參數(shù)集合對(duì)于3D檢測(cè)器，其采集周?chē)h(huán)境的3D點(diǎn)云信息，然后采用F-PointNet算法對(duì)其進(jìn)行檢測(cè)和特征提取得到對(duì)于提取到的和進(jìn)行特征耦合，使二者經(jīng)過(guò)一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)，輸出一個(gè)新的融合特征；在追蹤軌跡時(shí)，對(duì)t-1時(shí)刻和t時(shí)刻的軌跡關(guān)聯(lián)起來(lái)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于：采用卡爾曼濾波器對(duì)追蹤軌跡的輸出進(jìn)行濾波，以此來(lái)估計(jì)一條平滑的3D軌跡，以此來(lái)輸出每一個(gè)追蹤對(duì)象的軌跡。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：采用空間-時(shí)間圖注意力STGAT模型進(jìn)行行人軌跡預(yù)測(cè)，具體包括：

采用LSTM捕捉每個(gè)行人的歷史運(yùn)動(dòng)狀態(tài)，并且用M-LSTM和G-LSTM來(lái)表示對(duì)行人的運(yùn)動(dòng)狀態(tài)進(jìn)行編碼過(guò)程；在采用M-LSTM和G-LSTM方法對(duì)兩個(gè)步道的軌跡編碼后，將這二者進(jìn)行結(jié)合，以此實(shí)現(xiàn)空間-時(shí)間信息融合；采用GNNs和GAT方法對(duì)每個(gè)時(shí)刻即每一層的行人軌跡進(jìn)行處理；使用D-LSTM作為解碼器；對(duì)模型訓(xùn)練后，機(jī)器人可以預(yù)測(cè)出行人的未來(lái)軌跡。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：采用蒙特卡洛樹(shù)搜索方法和價(jià)值估計(jì)網(wǎng)絡(luò)決策，具體為：使用狀態(tài)價(jià)值預(yù)測(cè)網(wǎng)絡(luò)對(duì)推演的狀態(tài)進(jìn)行價(jià)值估計(jì)，根據(jù)每個(gè)狀態(tài)的價(jià)值，不斷地優(yōu)化出最優(yōu)策略，機(jī)器人根據(jù)以此策略選擇執(zhí)行的動(dòng)作。

6.一種密集行人環(huán)境下強(qiáng)化學(xué)習(xí)移動(dòng)機(jī)器人的導(dǎo)航裝置，其特征在于，所述裝置包括以下模塊：

行人軌跡實(shí)時(shí)追蹤模塊，采用JRMOT技術(shù)對(duì)行人軌跡進(jìn)行實(shí)時(shí)追蹤，所述JRMOT技術(shù)在多目標(biāo)跟蹤MOT的基礎(chǔ)上，引入3D檢測(cè)；

行人軌跡預(yù)測(cè)模塊，基于獲取到的行人軌跡信息，采用空間-時(shí)間圖注意力模型對(duì)行人軌跡進(jìn)行預(yù)測(cè)；

決策模塊，基于行人的歷史軌跡和預(yù)測(cè)軌跡，采用蒙特卡洛樹(shù)搜索方法和價(jià)值估計(jì)網(wǎng)絡(luò)進(jìn)行決策，獲得機(jī)器人的導(dǎo)航方案。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于：所述JRMOT技術(shù)包括輸入、檢測(cè)、追蹤三個(gè)部分；

在輸入部分，包括2DRGB圖像和3D點(diǎn)云信息；對(duì)于2D檢測(cè)器，其輸入周?chē)h(huán)境2DRGB圖像，采用圖像分割Mask R-CNN或目標(biāo)檢測(cè)器YOLO架構(gòu)作為2D檢測(cè)器輸出一個(gè)參數(shù)集合對(duì)于3D檢測(cè)器，其采集周?chē)h(huán)境的3D點(diǎn)云信息，然后采用F-PointNet算法對(duì)其進(jìn)行檢測(cè)和特征提取得到對(duì)于提取到的和進(jìn)行特征耦合，使二者經(jīng)過(guò)一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)，輸出一個(gè)新的融合特征；在追蹤軌跡時(shí)，對(duì)t-1時(shí)刻和t時(shí)刻的軌跡關(guān)聯(lián)起來(lái)。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于：采用卡爾曼濾波器對(duì)追蹤軌跡的輸出進(jìn)行濾波，以此來(lái)估計(jì)一條平滑的3D軌跡，以此來(lái)輸出每一個(gè)追蹤對(duì)象的軌跡。