[發明專利]基于深度Q網絡的仿人機器人步態優化控制方法

在審

• 申請號: 201911094657.8
• 申請日: 2019-11-11
• 公開（公告）號: CN110764416A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 劉惠義;袁雯;陶瑩;劉曉蕓
• 申請（專利權）人: 河海大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 32224 南京縱橫知識產權代理有限公司
• 代理人: 張倩倩

本發明公開一種基于深度Q網絡的仿人機器人步態控制方法，包括步態模型構建，獲取仿人機器人在行走過程中與環境之間的交互數據，用于提供訓練樣本；基于記憶數據池的訓練樣本對深度Q網絡進行學習訓練，得到仿人機器人的狀態?動作策略深度Q網絡模型；獲取仿人機器人在動作環境中的狀態參數，作為深度Q網絡模型的輸入，得到深度Q網絡模型在當前狀態?動作策略下的動作參數；利用已構建的步態模型，根據深度Q網絡模型輸出的動作參數，對仿人機器人進行步態控制；在深度Q網絡模型訓練中，通過產生獎勵函數達到更新深度Q網絡的目的。本發明能夠提高仿人機器人的步行速度，實現仿人機器人快速穩定的行走。

技術領域

本發明涉及一種基于深度Q網絡的仿人機器人步態優化控制方法，屬于仿人機器人技術領域。

背景技術

作為移動機器人的一個重要分支，仿人機器人是最適合與人類一起工作的通用移動和操作平臺。而在所有模仿人類行為的過程中，機器人最應該具備的就是其行走功能。

仿人機器人擁有眾多自由度，在行走時是一個變化的機械結構。使用三維線性倒立擺(3D Linear Inverted Pendulum Model，3D-LIPM)的步態模型實現機器人的快速行走需要調試大量的步態參數。而傳統的人工調參方法需要耗費巨大的時間，且不一定能得到最優值。當前，遺傳算法、粒子群算法、強化學習等都可以優化仿人機器人步態。研究表明：粒子群算法所優化出的步態性能要優于遺傳算法。然而，由于機器人參數過多，基于粒子群算法的方法在優化過程中易陷入局部最優，機器人的步行速度很難達到最大。

傳統的強化學習方法更加適合于解決低維狀態空間問題。而神經網絡能夠存儲多種運動模式，這些運動模式可被復用、細化和靈活排序。因此深度強化學習算法是在這種可能性的范圍內找到的較好的解決方法。

近年來，深度Q網絡(Deep Q network，DQN)由于可以有效地處理高維的狀態動作空間問題，已經成功應用于不同平臺上的機器人模型上。目前采用的深度強化學習方法能夠讓機器人實現一些簡單的任務，但是沒有考慮步態行走等復雜運動。

發明內容

本發明的目的是提供一種基于深度Q網絡的仿人機器人步態優化控制方法，利用DQN進行步態策略優化，可實現仿人機器人的快速行走。

本發明采取的技術方案為：一種基于深度Q網絡的仿人機器人步態優化控制方法，包括：

進行仿人機器人的步態模型構建，以實現仿人機器人的全方位行走；

獲取仿人機器人在行走過程中與環境之間的交互數據，存入記憶數據池，用于提供訓練樣本；所述交互數據為四元組(s,a,r,s′)，其中s代表狀態參數，a代表仿人機器人在狀態s下執行的動態參數，r代表仿人機器人在狀態s下執行動作a獲得的反饋獎勵值，s′代表仿人機器人在狀態s下執行動作a后的下一狀態；

構建深度Q網絡學習架構，基于記憶數據池的訓練樣本對深度Q網絡進行學習訓練，得到仿人機器人的狀態-動作策略深度Q網絡模型；

獲取仿人機器人在動作環境中的狀態參數，作為深度Q網絡模型的輸入，得到深度Q網絡模型在當前狀態-動作策略下的動作參數；

利用已構建的步態模型，根據深度Q網絡模型輸出的動作參數，對仿人機器人進行步態控制。

本發明通過深度Q網絡訓練對狀態-動作策略進行優化，可使得模型輸出的動作參數能夠實現仿人機器人的步態優化及快速行走。

本發明所述的仿人機器人動作環境可以是仿真環境如RoboCup 3D仿真平臺，也可以是真實的工作環境。對于仿真平臺可通過平臺本身獲取交互數據，對于實際工作環境，則可通過其它相關環境設備實現交互數據的獲取。