[發明專利]一種基于安全強化學習及視覺傳感器的機器人避障系統

有效

• 申請號: 202110684879.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113359744B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 郭洪飛;陳世帆;曾云輝;何睿潼;姜濤;廖丁為;何智慧;任亞平;張銳
• 申請（專利權）人: 暨南大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明公開了一種基于安全強化學習及視覺傳感器的機器人避障系統，包括卷積神經模塊，所述卷積神經網絡模塊包括長短期記憶單元；還包括加入LSTM單元、第一卷積層、第二卷積層、第一全連接層、第二全連接層、輸出層。本發明采用強化學習算法的增強，使多維，連續，多約束問題能夠較好的收斂于信任域內，解決了以往帶約束的強化學習算法的諸多問題。可以大幅提高生產安全，普適地應用在不同場合的危險工作上，在解放勞動力的同時，提高了操作安全性、精準性。

技術領域

本發明涉及人工智能領域，主要關于人工智能中安全強化學習算法在機器人避障問題中的應用，特別是涉及一種基于安全強化學習及視覺傳感器的機器人避障系統。

背景技術

年來，隨著科學技術的不斷發展，智能機器人已應用于多個領域，包括工業生產、軍事、災難救援等方面，其中涉及了環境感知、動態決策與規劃、自動控制等多種技術。同時，近年來也出現了各種社會問題，如勞動力數量下降、生產成本上升、自動化生產效率較低，產業轉型未完成、社會老齡化程度日益嚴重等問題。機器人在市場中的應用能夠有效緩解上述問題，因此，深入研究機器人技術的相關難點并進一步開拓機器人應用市場是十分必要的。并且，機器人技術更是衡量國家科技水平和工業自動化水平的重要指標。

其中，自主避障是智能機器人技術中重要組成部分，是智能機器人的核心技術之一。機器人自主躲避障礙可以極大促進相關智能產品的使用率，減小人力成本，使智能機器人能夠更好地代替人類完成部分難度大且危險的工作，例如災區救援、疫區消毒等。但與此同時，訓練避障機器人的過程中，不可避免地會出現相關的安全問題，因此，進一步優化智能機器人避障訓練過程中存在的安全隱患能夠進一步推進機器人在社會中的應用。

目前，智能機器人要想實現自主避障，需要通過測距傳感器以及許多避障算法來實現。典型的測距傳感器包括激光傳感器、超聲波傳感器、視覺傳感器等，然而這些傳感器都存在各自的局限性。在常用的避障算法中，主要有模擬退火法、人工勢場法和模糊邏輯方法，這類方法易于實現，但求解時容易陷入局部最優解。A*(A-star)算法、柵格法等方法解決了建模難的問題，但由于其搜索效率較低，使得其難以應用到實際中。遺傳算法、人工神經網絡算法等智能仿生學方法效率更高，但這類方法在應用中存在易陷入局部最優解及收斂速度較慢。

與此同時，深度學習中的強化學習技術在近年來得到了迅猛的發展，將強化學習技術應用于機器人避障領域已有不少相關研究。主要包括基于值的方法、基于策略的方法以及值與策略相結合的方法。基于值的方法主要適用于離散動作空間，其目標是通過最大化每個狀態的值函數來得到最優策略，而值函數則是用來衡量當前狀態下機器人選擇策略優劣程度，主要有時序差分(TemporalDifference,TD)算法、Q-Learning算法、SARSA(State-Action-Reward-State-Action)算法以及Dyna算法等；基于策略的方法通過直接優化策略得到最優策略，應用于機器人避障中則主要有策略梯度法(Policy Gradient,PG)和模仿學習(ImitationLearning,IL)等；值和策略相結合的方法則主要為Actor-Critic算法。

現有的強化學習技術在機器人避障的研究中，基于DoubleDQN網絡和深度強化學習的移動機器人避障方法(專利號：CN201811562344.6)，一種基于虛擬場景訓練的機器人避障方法(專利號：CN201911183320.4)，前者解決了現有的深度強化學習避障方法存在的響應延遲高、所需訓練時間長以及避障成功率低的問題，后者以構建虛擬環境的方式，結合基于Sarsa-lamda強化學習模型，實現機械臂軌跡重構以及有效避障，兩者均未對動態、連續、高維的控制模型進行分析和建模，同時也未涉及對機器人避障的安全問題進行限制和考量。