[發明專利]一種基于深度強化學習的雙足機器人步態規劃方法

有效

• 申請號: 201810979187.2
• 申請日: 2018-08-27
• 公開（公告）號: CN108983804B
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 吳曉光;劉紹維;楊磊;張天賜;李艷會;王挺進
• 申請（專利權）人: 燕山大學
• 主分類號: G05D1/08
• 分類號: G05D1/08
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 劉陽

1.一種基于深度強化學習的雙足機器人步態規劃方法，其特征在于，包括如下步驟：

步驟S1：建立雙足機器人模型，描述機器人行走過程；

步驟S2：獲取并處理人體步態數據和目標步態數據；

步驟S3：使用降噪自動編碼器分別提取雙足機器人步態數據與人體步態數據中的隱含特征；

步驟S4：利用深度強化學習對人體步態特征進行學習，進而規劃雙足機器人步態；其中，

步驟S1具體包括以下步驟：

步驟S101：建立4連桿有膝圓弧足機器人模型；其中，機器人模型包括2個大腿，2個小腿以及2個圓弧足，腿部由剛性桿通過鉸鏈無摩擦地連接在一起，圓弧足分別固定連接在小腿上，支撐腿和擺動腿具有完全相同的質量和幾何參數，且腿的質量均勻分布，機器人模型的膝關節處設置限位機構以模擬人體的膝關節功能，在髖關節設置兩臺電機，分別對支撐腿和擺動腿施加控制力矩；

步驟S102：以機器人行走過程中前進方向的右側面為視點對模型步行過程進行分析，選擇實時表征機器人狀態的無量綱物理量，將所選擇的物理量定義為機器人步行狀態Θ_r，機器人步行狀態被描述為：

其中，取逆時針旋轉為正，θ_r1，為擺動腿小腿到豎直方向的角度和角速度；θ_r2，為擺動腿大腿到豎直方向的角度和角速度；θ_r3，為支撐腿小腿到豎直方向的角度和角速度；

步驟S2具體包括以下步驟：

步驟S201：將人體和機器人從擺動腿起擺到擺動腿與地面發生碰撞的過程定義為一個步態周期；

步驟S202：從CMU人體運動捕獲數據庫中選取人體正常行走過程數據集，將數據集進行人體劃分并解算，得到人體步行過程描述；

步驟S203：以機器人模型為參照，取人體步行縱向的2D平面，定義人體步行狀態為Θ_m，將人體步行過程描述中的所有數據使用Θ_m進行表示，并將Θ_m作為行向量，組合得到人體步態數據Θ_M；

步驟S204:從人體步態數據Θ_M中選取一個步態周期作為機器人的學習對象，提取學習對象數據中的奇數幀組成新的數據集，并定義為目標步態數據Θ_S，其中，目標步態數據Θ_S中任意行向量為提取得到的Θ_m；

步驟S205：將機器人在步態周期中的步行狀態Θ_r按照Θ_S中的采樣頻率進行采樣，組成機器人步態數據Θ_R，其中，機器人步態數據Θ_R中任意行向量為采樣得到的Θ_r；

步驟S3具體包括：根據Θ_r、Θ_m的數據結構，構建兩個結構相同的降噪自動編碼器，對機器人步態數據Θ_R和目標步態數據Θ_S進行特征提取；將Θ_R、Θ_S的行向量逐一送入降噪自動編碼器，并將得到的特征按原有順序排列，組成機器人步態特征數據H_R和目標步態特征數據H_S，將H_R和H_S統一進行歸一化處理以便用于深度強化學習，其中每個降噪自動編碼器工作流程如下步驟：

S301：取Θ_R或Θ_S中一行向量Θ送入降噪自動編碼器，降噪自動編碼器使用二項分布對原始步態數據Θ進行隨機擦除，被檫除數據置0，得到含有噪聲的步態數據通過編碼函數f將映射到隱藏層，得到隱藏層特征h，其中降噪自動編碼器的編碼函數為：

其中，w為輸入層和隱藏層間的權重矩陣；s_f為編碼函數f的激活函數，激活函數取Sigmod函數；

S302：隱藏層特征h通過解碼函數g映射到輸出層，得到重構輸出y；重構輸出y保持原始步態數據x的信息，其整體誤差通過整體損失函數J_DAE來表示，其中降噪自動編碼器的解碼函數為：

其中,為隱藏層與輸出層間的權重矩陣，且有s_g為解碼函數的激活函數，同樣為Sigmod函數；在給定的訓練集中降噪自動編碼器的整體損失函數：

其中θ_DAE是降噪自動編碼器的參數，包括w，p，q；L定義為重構誤差，用于刻畫y與Θ的接近程度：

其中n為輸入輸出層的維度；

S303：降噪自動編碼器訓練過程使用梯度下降對J_DAE(θ)進行迭代計算以得到最小值，梯度下降對θ_DAE的更新函數：

其中α為學習速率，取值為[0,1]。