[發(fā)明專利]基于深度強化學習和方向估計的視覺導航方法

有效

• 申請?zhí)枺?/td>: 202110637923.8
• 申請日: 2021-06-08
• 公開（公告）號: CN113392584B
• 公開（公告）日: 2022-12-16
• 發(fā)明（設計）人: 畢盛;羅超;董敏;鐘浩釗
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06V10/44;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產(chǎn)權代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開了一種基于深度強化學習和方向估計的視覺導航方法，包括步驟：1)生成AI2?THOR仿真平臺離線數(shù)據(jù)集；2)對離線數(shù)據(jù)集的RGB?D圖像，提取圖像特征；3)構建A3C深度強化學習模型，并將步驟2)中的特征作為模型的輸入，進行模型的訓練；4)根據(jù)現(xiàn)實場景對步驟3)訓練好的模型進行遷移，并對其進行微調，提升其泛化能力，最后將微調好的模型應用到該現(xiàn)實場景的視覺導航中。本發(fā)明使用三維幾何方法，通過方向估計方法計算導航到目標物體的位置和方向，為深度強化學習模型提供方向特征，使模型能夠更快收斂并且泛化能力更強，實現(xiàn)精準的視覺導航。

技術領域

本發(fā)明涉及機器人視覺導航的技術領域，尤其是指一種基于深度強化學習和方向估計的視覺導航方法。

背景技術

目前，基于建圖與導航的室內導航技術逐步完善，并應用到生活場景當中，如掃地機器人，商場服務機器人的使用。但是，在未知場景和復雜場景下，智能機器人由于無法快速建圖而無法正常的導航，這是目前智能機器人在室內導航方面所面臨的最大挑戰(zhàn)。研究者們從人類在室內導航的方法角度出發(fā)，研究出了新的導航方法，即無地圖的視覺導航方法，基于視覺的導航方法能夠更好的適應新的未知環(huán)境和復雜環(huán)境，通過視覺導航，智能機器人可以不使用地圖，自主的探索導航到目標物體附近，視覺導航是目前室內導航研究方法的一個新興領域，基于深度學習和強化學習的視覺導航方案成為解決室內無地圖導航的一個主流趨勢，并逐漸在仿真環(huán)境和現(xiàn)實環(huán)境下做到不錯的效果。

發(fā)明內容

本發(fā)明的目的在于克服現(xiàn)有技術的不足和缺點，提出了一種基于深度強化學習和方向估計的視覺導航方法，使用三維幾何方法，通過方向估計方法計算導航到目標物體的位置和方向，為深度強化學習模型提供方向特征，使模型能夠更快收斂并且泛化能力更強，實現(xiàn)精準的視覺導航。

為實現(xiàn)上述目的，本發(fā)明所提供的技術方案為：基于深度強化學習和方向估計的視覺導航方法，包括以下步驟：

1)生成AI2-THOR仿真平臺離線數(shù)據(jù)集：通過模擬仿真機器人移動的腳本將AI2-THOR仿真環(huán)境數(shù)據(jù)生成離線數(shù)據(jù)集，離線數(shù)據(jù)集包含RGB-D圖像和機器人位置信息，其中RGB-D圖像中D表示的是深度圖像，RGB-D圖像包含RGB圖像和深度圖像；

2)對步驟1)中的離線數(shù)據(jù)集的RGB-D圖像，提取圖像特征：使用方向估計方法獲取圖像中目標物體的方向特征，將方向特征作為模型的部分輸入，采用動態(tài)圖卷積網(wǎng)絡對離線數(shù)據(jù)集中每幀RGB圖像中物體的二維空間關系進行編碼，并將編碼特征作為模型部分輸入，使用Resnet18骨干網(wǎng)絡提取圖像的視覺特征，將視覺特征作為模型的部分輸入；

3)構建A3C(Asynchronous Advantage Actor-Critic)深度強化學習模型，并將步驟2)中的方向特征、編碼特征和視覺特征作為模型的輸入，進行模型的訓練；

4)根據(jù)現(xiàn)實場景對步驟3)訓練好的模型進行遷移，并對其進行微調，提升其泛化能力，最后將微調好的模型應用到該現(xiàn)實場景的視覺導航中。

進一步，所述步驟1)包括以下步驟：

1.1)下載AI2-THOR的python包，使用相應的命令下載AI2-THOR的30個仿真場景，取其中25個仿真場景作為訓練集，剩余5個作為測試集；

1.2)使用python腳本將仿真環(huán)境作柵格化處理，將對應柵格點位置的坐標和仿真機器人視角所看到的RGB-D圖像進行綁定，使用json文件將數(shù)據(jù)做關聯(lián)保存，生成離線數(shù)據(jù)集。

進一步，所述步驟2)包括以下步驟：

2.1)通過三維幾何方法將圖像中像素坐標與相機坐標系下的三維坐標作相互轉換，具體轉換公式如下：