[發明專利]一種四足機器人自主運動控制學習方法

在審

• 申請號: 202310005616.7
• 申請日: 2023-01-04
• 公開（公告）號: CN115951580A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 張曉平;吳宜通;王力;鄭遠鵬;孟祥鵬;張嘉林;馮輝;馬新雨
• 申請（專利權）人: 北方工業大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 韓雪梅

1.一種四足機器人自主運動控制學習方法，其特征在于，包括：

由余弦振蕩器構成用于控制四足機器人所有關節角度的中樞模式發生器網絡；

根據四足機器人的運動狀態，采用深度強化學習方法對中樞模式發生器網絡的參數進行訓練，輸出四足機器人在當前運動狀態下中樞模式發生器網絡的最佳參數；

將所述最佳參數輸入中樞模式發生器網絡，輸出四足機器人每個關節的角度信號；

四足機器人根據每個關節的角度信號進行直線運動。

2.根據權利要求1所述的四足機器人自主運動控制學習方法，其特征在于，所述由余弦振蕩器構成用于控制四足機器人所有關節角度的中樞模式發生器網絡，具體包括：

四足機器人的每條腿有兩個關節，一個關節由一個余弦振蕩器控制，令一個中樞模式發生器單元控制四足機器人的一條腿，則由兩個余弦振蕩器構成的一個中樞模式發生器單元的數學表達式為其中，每條腿的兩個關節分別為髖關節和膝關節；

由四個中樞模式發生器單元構成的中樞模式發生器網絡的數學模型為

式中，y₀、y₁分別對應髖關節和膝關節處的余弦振蕩器輸出，A₀、A₁分別是兩個余弦振蕩器的幅值，T是周期，分別是髖關節和膝關節的初始相位；

式中，分別表示左前腿髖關節、左前腿膝關節、左后腿髖關節、左后腿膝關節、右前腿髖關節、右前腿膝關節、右后腿髖關節和右后腿膝關節的角度；A_h、A_k分別是髖關節和膝關節的幅值；t₀,…,t₇分別是各關節的時差，2πt₀/T,…,2πt₇/T分別是各關節之間的相位差，t表示時間。

3.根據權利要求2所述的四足機器人自主運動控制學習方法，其特征在于，所述深度強化學習的觀測空間選取的是四足機器人運動過程中的17個狀態量，包括：四足機器人的俯仰角、橫滾角和偏航角；四足機器人重心相對于地球坐標系的x,y,z坐標位置；四足機器人8個關節的角度；以及四足機器人在x,y,z坐標系方向上的運動速度V_x,V_y,V_z；

動作空間：動作空間是n維的，n的大小與中樞模式發生器網絡參數的個數相同；動作空間直接輸出中樞模式發生器網絡的參數，包括：A_h、A_k、T、t₀,…,t₇；

狀態空間：狀態空間與觀測空間選取相同；

獎勵函數：其中，reward表示總獎勵函數；reward_step表示每走一步的獎勵，reward_step＝10；reward_x表示x軸方向運動獎勵，reward_x＝w₂(x-x_last)，ω₂表示第二權重，x表示當前時刻機體重心x坐標，x_last表示前一時刻機體重心x坐標；reward_y表示y軸方向運動獎勵，reward_y＝w₁(y-y_last)，ω₁表示第一權重，y表示當前時刻機體重心y坐標，y_last表示前一時刻機體重心y坐標；reward_pitch表示機器人的俯仰角獎勵，reward_pitch＝w₃α，ω₃表示第三權重，α表示俯仰角；reward_roll表示機器人的橫滾角獎勵，reward_roll＝w₃β，β表示橫滾角；reward_yaw表示機器人的偏航角獎勵，reward_yaw＝w₄γ，ω₄表示第四權重，γ表示偏航角；reward_yaw表示機器人摔倒獎勵，f表示機器人摔倒獎勵函數。