[發明專利]基于深度強化學習的機器人運動控制方法及系統

有效

• 申請號: 202110319484.6
• 申請日: 2021-03-25
• 公開（公告）號: CN113093779B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 張偉;宋然;譚文浩;方興;陳騰;鄭宇;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G05D1/08
• 分類號: G05D1/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于深度強化學習的機器人運動控制方法及系統，包括：獲取外部環境反饋信息和機器人當前運動狀態反饋信息；上述信息經過深度強化學習網絡，輸出下一時刻的機器人運動控制參數；中樞模式發生器基于下一時刻的機器人運動控制參數以及機器人當前運動狀態的反饋信息，輸出下一時刻的機器人運動控制信號。本發明使用分層控制模式，高級別的環境理解與參數輸出能夠以較低頻率運行，能夠適應深度強化學習網絡的運算速度并節約計算資源。

技術領域

本發明涉及四足機器人運動控制技術領域，尤其涉及一種基于深度強化學習的機器人運動控制方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

靈活高效的運動控制是各類移動機器人特定功能得以實現的基礎與前提。為此，機器人領域的學者們不斷探索、優化機器人運動控制算法，致力于實現對復雜機器人可靠、精準與高效的控制。相比于輪式或履帶式機器人，以四足仿生機器人為代表的腿足式機器人由于自身機械結構復雜等固有特點，其運動穩定性與環境適應性均有待提升。而步態規劃作為腿足式機器人運動控制過程的重要一環，一直以來都是四足仿生機器人領域的研究熱點，也是本方案的重點研究問題。

四足仿生機器人以模仿生物為出發點，而所謂“仿生”不僅存在于形態層面，其控制方法也在很大程度上借鑒了生物體的部分運動控制機制，其中最具代表性的便是中樞模式發生器(Central Pattern Generator，CPG)算法。現有技術采用基于CPG神經網絡的步態控制策略，相繼開發了具備行走、跳躍能力的Patrush、Tekken、Kotetsu等多個系列的四足機器人。但由于CPG算法缺乏周期性反饋，無法對CPG輸出的節律行為進行實時調整，導致四足機器人在面對新環境時難以進行適應性的變化，環境適應能力弱。

近年來興起的深度強化學習兼備深度網絡的感知能力與強化學習的決策能力，可以使機器人在無需專家對環境及機器人本體建模的情況下，通過環境交互自主學習經驗與行動策略，因而展現出了強大的環境適應能力。利用深度強化學習實現四足仿生機器人步態控制即讓其在環境中通過不斷試錯學習到合適的步態控制策略，考慮到試錯成本等因素，此過程通常在仿真環境中進行。但由于仿真精度有限，缺乏足夠的系統數據用于嚴格還原真實場景，導致步態控制策略訓練困難。此外，相比于基于模型的步態控制方法，基于學習的步態控制難以高頻率控制四足機器人行為。

綜上所述，傳統仿生步態控制與基于學習的步態控制各有利弊，如何在四足仿生機器人步態規劃過程中充分發揮兩類方法的優勢，尋求控制效果平穩高且環境適應性強的步態控制策略，仍然是四足仿生機器人運動控制領域亟待解決的關鍵性問題。

發明內容

為了解決上述問題，本發明提出了一種基于深度強化學習的機器人運動控制方法及系統，以四足仿生機器人的步態控制問題為研究對象，通過模仿生物神經系統，構建與“腦-脊髓”對應的“深度強化學習網絡-中樞模式發生器”運動控制架構。

在一些實施方式中，采用如下技術方案：

一種基于深度強化學習的機器人運動控制方法，包括：

獲取外部環境反饋信息和機器人當前運動狀態反饋信息；

上述信息經過深度強化學習網絡，輸出下一時刻的機器人運動控制參數；

中樞模式發生器基于下一時刻的機器人運動控制參數以及機器人當前運動狀態的反饋信息，輸出下一時刻的機器人運動控制信號。

在另一些實施方式中，采用如下技術方案：

一種基于深度強化學習的機器人運動控制系統，包括：

信息獲取模塊，用于獲取外部環境反饋信息和機器人當前運動狀態反饋信息；

深度強化學習網絡模塊，用于根據上述信息輸出下一時刻的機器人運動控制參數；