[發明專利]一種基于深度強化學習的移動機器人視覺跟隨方法

有效

• 申請號: 201910361528.4
• 申請日: 2019-04-30
• 公開（公告）號: CN110084307B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 張云洲;王帥;龐琳卓;劉及惟;王磊
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G05D1/12
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉;梅洪玉

本發明提出了一種基于深度強化學習的移動機器人視覺跟隨方法。采用“模擬圖像有監督預訓練+模型遷移+RL”的架構，首先在真實環境中收集少量的數據，采用計算機程序和圖像處理技術對數據集進行自動化擴充，以便在短時間內得到大量可以適應真實場景的模擬數據集，用于對跟隨機器人的方向控制模型進行有監督訓練；其次，搭建用于機器人方向控制的CNN模型，并用自動化構造的模擬數據集對其進行有監督訓練，使其作為預訓練模型；接著將預訓練模型的知識遷移到基于DRL的控制模型中，令機器人在真實環境中執行跟隨任務，結合強化學習機制，使得機器人可以在環境交互的過程中一邊跟隨，一邊對方向控制性能進行提升，不僅魯棒性高，且大大降低成本。

技術領域

本發明屬于智能機器人技術領域，涉及一種基于深度強化學習的移動機器人視覺跟隨方法。

背景技術

隨著技術的進步與社會的發展，越來越多的智能機器人出現在人們的生活中。跟隨式機器人是近年來受到廣泛關注的新型系統之一，其可以應用在諸如醫院，市場或學校等復雜環境中作為其所有者的助理，進行跟隨移動，這將會給人們的生活帶來極大的方便。跟隨機器人應該具有自主感知、識別、決策和運動功能，能夠識別某一特定的目標，并結合相應的控制系統在復雜場景下實現對該目標的跟隨。

目前對于跟隨機器人系統的研究通常基于視覺傳感器或多傳感器結合，前者通常使用立體相機采集視覺圖像，需要繁瑣的標定步驟，且難以適應室外較強的光照；后者由于額外傳感器的加入，提高了系統成本，也帶來了復雜的數據融合過程。為了保證動態未知的環境中跟蹤的穩健性，通常需要手工設計復雜的特征，這大大增加了人力成本、時間成本和計算資源。另外，傳統的跟隨機器人系統通常將整個系統拆分為目標跟蹤模塊和機器人運動控制兩個部分，在這樣的流水線設計結構中，前一模塊中出現的誤差通常會依次傳遞到后面的模塊，從而導致誤差的積累逐漸放大，最終對系統性能產生較大影響。

綜上所述，當前傳統跟隨機器人系統存在硬件成本和設計成本過高的缺點，且無法在簡單硬件支持下完全適應室內外環境的多變性和復雜性，容易發生機器人跟丟目標人的情況，降低跟隨系統的魯棒性，因此嚴重影響了跟隨式機器人在實際生活中的應用推廣。

發明內容

針對當前傳統跟隨機器人設計的不足，本發明提供了一種基于深度強化學習的移動機器人視覺跟隨方法。

本發明以單目彩色攝像頭作為機器人唯一輸入傳感器，將卷積神經網絡(Convolutional Neural Network,CNN)及深度強化學習(Deep Reinforcement Learning,DRL)引入跟隨機器人系統中，擺脫了傳統跟隨機器人系統中復雜的手工設計特征的過程，使機器人能夠直接從視野圖像中學習控制策略，大大降低了目標跟丟的可能性，可以更好的適應復雜環境中的光照變化、背景物體干擾、目標消失和行人干擾。同時，深度強化學習的引入也使得跟隨機器人可以在與環境交互的過程中不斷從經驗中學習，不斷提高自己的智能化水平。

本發明采用“模擬圖像有監督預訓練+模型遷移+RL”的架構，首先在真實環境中收集少量的數據，采用計算機程序和圖像處理技術對數據集進行自動化擴充，以便在短時間內得到大量可以適應真實場景的模擬數據集，用于對跟隨機器人的方向控制模型進行有監督訓練；其次，搭建用于機器人方向控制的CNN模型，并用自動化構造的模擬數據集對其進行有監督訓練，使其作為預訓練模型；接著將預訓練模型的知識遷移到基于DRL的控制模型中，令機器人在真實環境中執行跟隨任務，結合強化學習(Reinforcement Learning,RL)機制，使得機器人可以在環境交互的過程中一邊跟隨，一邊對方向控制性能進行提升。

具體技術方案如下：

一種基于深度強化學習的移動機器人視覺跟隨方法，包括步驟如下：

步驟一：數據集的自動化構造；