[發明專利]一種四足機器人運動控制自生成和實物遷移方法

在審

• 申請號: 202011509972.5
• 申請日: 2020-12-19
• 公開（公告）號: CN112631131A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 曹政才;邵琦;胡標;邵士博;張東;李群智;馬超
• 申請（專利權）人: 北京化工大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種四足機器人運動控制自生成和實物遷移方法，其特征在于，包括：

步驟1：利用開源Bullet物理引擎構建四足機器人快速仿真環境，包括四足機器人物理模型和周圍環境的物理屬性；四足機器人的傳感器信息通過插件形式加入仿真環境，并通過可視化的方式進行顯示；

步驟2：在仿真環境中，使用PPO算法優化四足機器人運動控制器，通過確定影響四足機器人運動控制性能的參數，學習魯棒的控制器來縮小仿真模型和實際模型的差異，提高遷移成功率，在仿真環境中，實現控制策略的自主生成；

步驟3：將仿真中學習的運動控制器移植到實際四足機器人的控制板上，以慣性測量單元測量的信息作為控制器的輸入，由運動控制器預測四足機器人腿部的關節角度，輸出到對應電機，實現四足機器人在實際環境下的穩定行走。

2.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：四足機器人的物理模型依據實際四足機器人的關節與連桿的相對關系、慣性屬性、幾何特點和碰撞模型建立；周圍環境的物理屬性考慮地面的摩擦力和機器人所受的外力。

3.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：步驟2中的深度強化學習PPO算法所使用的回報函數R：

R＝λ₀*(x₁-x₀)-λ₁*(y₁-y₀)-λ₂*(z₁-z₀)-λ₃*E

其中，λ_i(i＝0,1,2,3)表示獎勵函數各部分所占的權重，通過調節λ_i的相對大小來控制各個指標的相對重要程度，λ_i均為正，代表獎勵函數獎勵四足機器人向前行進，而不獎勵機器人左右搖晃和上下顛簸，同時對所消耗的能量進行限制；x₁，y₁，z₁表示笛卡爾坐標系下當前四足機器人的三維坐標值，x₀，y₀，z₀表示前一時刻的坐標值，取當前的變化量作為獎勵函數的指標；E表示四足機器人當前時刻消耗的能量，使用八個電機的轉速和輸出轉矩乘積的和來表示。

4.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：使用有先驗知識的強化學習優化四足機器人腿部的關節角度：

θ＝A_θ*sin(2*π*f*t+p)+θ₁

γ＝A_γ*sin(2*π*f*t+p)+γ₁

其中，θ為四足機器人腿部前后擺動的角度，γ為四足機器人腿部上下擺動的角度，使用正弦函數保證四足機器人腿部運動的周期性，作為強化學習的先驗知識，A_θ，A_γ為正弦函數的幅值，f為四足機器人運動的步態頻率，t為運動的時間，p為四足機器人腿的相位，θ₁和γ₁為強化學習對先驗知識做修正的值。

5.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：通過系統辨識的方法整理得到影響四足機器人運動控制性能的參數：四足機器人質量、電機摩擦、控制延時、接觸摩擦、轉動慣量和電機模型。

6.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：提高控制器的抗干擾能力，在一定范圍內隨機化仿真模型參數、在訓練中加入隨機的干擾力、隨機化四足機器人每條腿的初始位置及在電機和慣性測量單元的讀數中加入高斯噪聲。

7.根據權利要求1所述的一種四足機器人運動控制自生成和實物遷移方法，其特征在于：在步驟3中，包括以下步驟：

步驟3.1：考慮仿真模型中確定的參數和魯棒性的控制器，在仿真中使用PPO深度強化學習算法優化控制器，實現控制策略的自主生成；

步驟3.2：將訓練好的整個仿真環境遷移到實際的四足機器人控制板上，使四足機器人四足懸空，采用仿真環境下，四足機器人的狀態作為控制器的輸入，將控制器輸出的關節角度通過串口發送到電機控制器，驅動對應腿部運動，在此過程中，觀察實際四足機器人的步態是否與仿真環境下四足機器人的步態保持一致；

步驟3.3：在實現步驟3.2的前提下，將控制器的輸入替換為實際四足機器人的狀態，即為慣性測量單元的獲取的實際四足機器人翻滾角，俯仰角和這兩個軸的角速度，讓四足機器人的四足觸地，測試四足機器人在實際環境下的運動性能；

重復步驟3.1-3.3，直到四足機器人能在實際環境下實現穩定的步態生成。