[發明專利]一種基于強化學習的多足機器人步態切換方法

有效

• 申請號: 202110077868.1
• 申請日: 2021-01-20
• 公開（公告）號: CN112904859B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 汪首坤;司金戈;王亮;雷濤;王軍政
• 申請（專利權）人: 北京理工大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發明涉及一種基于強化學習的多足機器人步態切換方法，屬于機器人控制技術領域。針對步態切換速度問題，通過制定離散點間切換規則對步態切換提出約束，獲取當前步態下滿足多類運動條件、運動效果良好自然的切換步態。本方法在傳統步長S運動空間離散化處理的基礎上，進行前后運動空間的擴展離散化處理，極大地擴大了足端可選運動狀態，避免后續因步態切換方法中對運動空間的篩選導致無可用切換步態的情況。通過多次該方法的循環迭代，可以逐步實現從初始足端狀態向目標步態的切換。

技術領域

本發明涉及一種針對多足機器人步態間最優切換的步態規劃方法，屬于機器人控制技術領域。

背景技術

在非結構化的復雜地形中，足式機器人可以通過規劃離散的落足點實現穩定行走。相比輪式及履帶式機器人，足式機器人具有更好的環境適應性，在物資運輸、資源勘探等領域具有廣闊的發展前景。其中，多足機器人各步態由于占空比不同，具有不同的運動穩定性以及運動速度，因而適用于不同的地形。因此，如何實現機器人步態間的動態自由切換，對提升其復雜地形下的足式運動性能具有重要的意義。

機器人步態間的動態自由切換過程，要滿足三個運動要求：步態切換所需步數少、運動穩定性高、步態運動效果連貫自然。針對這三個要求，在現階段能夠較好實現步態切換的相關方法中，普遍引入強化學習，通過制定足端運動策略保證運動的自然，對運動的穩定裕度進行訓練以獲取速度及穩定裕度綜合最優的步態切換方法。

但是，步態切換運動中的兩個重要指標——運動速度及運動效果，對足端的運動提出了相反的要求：足端運動可能性越大，運動越靈活，越能夠選擇出使切換速度最快的足端點位，實現步態切換。同時，良好的運動效果對足端運動狀態提出了約束，需要對足端全部可能的運動進行篩選，通過獲取少量使運動效果良好的足端狀態實現切換。

因此，如何規劃機器人足端時序及位置上的運動，在最大化機身穩定裕度的同時平衡兩者的指標，是步態切換的關鍵，也是難點問題。

發明內容

本發明的目的是為了克服現有技術的缺陷，為有效解決多足機器人足式步態間動態切換的技術問題，提出一種基于足端運動空間擴展離散化處理方法的步態切換方法，通過強化學習解決了初始步態向目標步態條件下，具有良好運動效果的、切換速度及穩定裕度綜合最優的步態切換問題。

本發明的創新點在于：

為最大化足端運動選擇，針對步態切換速度問題，在傳統步長S運動空間離散化處理的基礎上，進行前后運動空間的擴展離散化處理，該處理方法呈冪次關系極大地擴大了足端可選運動狀態，避免后續因步態切換方法中對運動空間的篩選導致無可用切換步態的情況。

為具有自然流暢的運動效果，針對步態切換運動效果問題，提出一種步態切換方法，通過制定離散點間切換規則對步態切換提出約束，獲取當前步態下滿足多類運動條件、運動效果良好自然的切換步態。通過多次該方法的循環迭代，可以逐步實現從初始足端狀態向目標步態的切換。

本發明采用以下技術方案實現。

一種基于強化學習的多足機器人步態切換方法，包括以下步驟：

步驟1：擴展離散化足端運動空間。

首先，基于機器人各機械腿的運動可達范圍進行分析，將足端運動空間沿機器人前進方向進行擴展的離散化處理，通過機器人各足所在離散點位表達足端的位置狀態，通過位置狀態的排序表達機器人工作時序的變化，實現步態規劃問題向數字排序的轉換。擴展處理提升了足端運動的可選擇性，加快了步態切換的速度。

具體可以采用以下方法實現：