[發明專利]機器人路徑導航方法、系統、設備及存儲介質

在審

• 申請號: 202110632055.4
• 申請日: 2021-06-07
• 公開（公告）號: CN113532457A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 呂蕾;趙盼盼;周青林;嵇存;張宇昂;呂晨
• 申請（專利權）人: 山東師范大學
• 主分類號: G01C21/34
• 分類號: G01C21/34;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了機器人路徑導航方法、系統、設備及存儲介質，獲取機器人狀態信息、障礙物信息以及目標位置信息；將獲取的信息輸入到訓練后的DDPG網絡模型中，得到機器人路徑導航結果；根據導航結果，完成機器人路徑導航；DDPG網絡模型的獎勵值通過獎勵函數來計算，所述獎勵函數中包含歐式距離與余弦距離的差值；通過余弦距離與歐氏距離結合，可以指導機器人找到從初始位置到目標位置的最優或近似最優路徑。

技術領域

本公開涉及機器人路徑導航技術領域，特別是涉及機器人路徑導航方法、系統、設備及存儲介質。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

通過在傳統機器人中安置傳感器，機器人可以感知環境信息來判斷自身的狀態。實現了機器人通過與環境交互完成自主運動。隨著機器人在人們生活中應用越來越廣泛，機器人的路徑導航問題變得越來越重要。

作為智能機器人研究的主要部分，機器人的路徑導航問題就是實現機器人在充滿障礙的環境中找到一條從起始位置到目標位置的最佳或最優無碰撞路徑。近些年來，有許多算法被提出用來解決路徑導航問題。早期提出來的算法有模擬退火算法、人工勢場法等。其中人工勢場法在環境中引入了人工力場，具體做法是障礙物對機器人施加排斥力，目標位置對機器人施加引力，產生的合力決定了機器人的運動方向和速度，但是這種做法也存在缺陷，特別是當排斥力與引力相同時，機器人便很難找到合適的運動方向和速度。這些傳統方法由于其需要提前配置環境信息，而隨著機器人所面對的環境越來越復雜，這些方法顯然不適用了。深度強化學習結合了深度神經網絡和強化學習被廣泛適用于機器人路徑導航。深度去強化學習結合了深度神經網絡算法的強大的擬合功能和強化學習的決策能力，在機器人導航領域表現出較好的效果。其中深度確定性策略梯度算法Deep DeterministicPolicy Gradient(DDPG)作為深度強化學習的改進，機器人為了獲得最大的獎勵價值，通過與環境的不斷交互來了解狀態信息并作出決策。

然而，DDPG在運用到機器人路徑導航領域中時，存在許多問題和挑戰，算法在使用時通常學習和訓練效率不高，且難收斂。DDPG算法采用的是雙演員-評論家(Actor-Critic)模式，實時策略(online_Actor)網絡需要根據狀態預測相應的動作，實時Q(online_Critic)網絡則對演員網絡生成的策略通過Q值進行評判，這些數據被送到深度神經網絡利用梯度的反向傳播不斷地更新參數，目標策略(target_Actor)網絡和目標Q(target_Critic)網絡通過軟更新的方式相隔一定時間間隔從實時網絡拷貝參數。Q值預測的準確度對整個網絡的性能來說是一個至關重要的地方。另外，DDPG需要獎勵函數來生成對應策略的獎勵值R。獎勵函數設置的優劣也在一定程度上決定了DDPG算法的好壞。

發明人發現，現有的機器人路徑導航方法對機器人的運動方向和運動速度控制的都不是很精確。

發明內容

為了解決現有技術的不足，本公開提供了機器人路徑導航方法、系統、設備及存儲介質；為了提升上述提到的Q網絡預測Q值的準確性，本發明提出了將決斗(dueling)網絡與DDPG算法的雙網絡模型相結合的預測模型，將Q值的預測分為兩部分：對狀態的Q值預測和對在相應狀態下做出相應動作的Q值預測，實驗表明基于dueling網絡的DDPG算法在機器人導航問題上有很好的效果。另外針對機器人路徑導航的特點，我們將余弦距離引入獎勵函數，提出了結合余弦距離和歐氏距離相結合的獎勵函數，同時對機器人運動的方向和速度進行控制。

第一方面，本公開提供了機器人路徑導航方法；

機器人路徑導航方法，包括：

獲取機器人狀態信息、障礙物信息以及目標位置信息；

將獲取的信息輸入到訓練后的DDPG網絡模型中，得到機器人路徑導航結果；根據導航結果，完成機器人路徑導航；

其中，DDPG網絡模型通過dueling網絡來計算Q值；