[發明專利]一種基于深度強化學習的六足機器人實時步態規劃方法

在審

• 申請號: 201710763223.7
• 申請日: 2017-08-30
• 公開（公告）號: CN107450555A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 唐開強;劉佳生;洪俊;孫建;侯躍南;錢勇;潘東旭
• 申請（專利權）人: 唐開強
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 南京天翼專利代理有限責任公司32112
• 代理人: 于忠洲

技術領域

本發明涉及一種六足機器人實時步態規劃的方法，尤其是一種基于深度強化學習的六足機器人實時步態規劃方法。

背景技術

機器人技術是材料學、機構學、仿生學、機電一體化技術、控制技術、傳感器技術、人工智能等學科的高度集成，是國家工業發展水平和科技實力的重要體現。自主完成步態規劃的多足仿生機器人是高度智能化的移動機器人，能夠對外界環境的自主學習和完成步態規劃。路況環境復雜多樣，六足機器人傳統預先編程的步態規劃方法存在很大的局限性。為了提高六足機器人的環境適應能力，六足機器人需要完成各種基本的作業任務比如整體移動導航、質心移動軌跡規劃和落腳點選取的功能。通過多足機器人融合衛星導航和多傳感器的信息來進行機器學習(如深度學習和強化學習)，與外界環境進行交互，特別是如何在經驗學習中改善目標的性能，實現其感知、決策和行動等各項功能。六足機器人的相關研究一直備受各國專家學者的關注，但是如何提高六足機器人在非結構環境下的移動能力仍然是個懸而未決的課題。

發明內容

本發明要解決的技術問題是現有的六足機器人步態規劃技術無法適應復雜的地形環境、以及遠距離自主步行和終點位置不固定的情況。

為了解決上述技術問題，本發明提供了一種基于深度強化學習的六足機器人實時步態規劃方法，包括如下步驟：

步驟1，由六足機器人通過衛星地圖獲取環境路況信息，并根據環境路況信息制定整體運動軌跡；

步驟2，六足機器人利用安裝在機身上的攝像頭獲取周邊環境照片，再根據周邊環境照片利用雙目測距方法計算出運動軌跡的目標位置信息，并由六足機器人根據運動軌跡的目標位置信息規劃出機器人質心運動軌跡；

步驟3，六足機器人根據機器人質心運動軌跡進行移動，并在機器人腿的足端擺動空間范圍內，利用安裝在機身上的攝像頭拍攝路況環境照片，并通過預先訓練過的基于DDPG的深度強化學習網絡來對路況環境照片進行數據降維和特征提取；

步驟4，六足機器人根據數據降維和特征提取結果得出六足機器人的控制策略，并根據控制策略來控制六足機器人每個關節驅動機構完成關節自由度運動，從而實現六足機器的實時步態規劃行走。

作為本發明的進一步限定方案，步驟2中根據照片利用雙目測距方法計算出運動軌跡的實時位置信息的具體步驟為：

步驟2.1，獲取攝像頭的焦距f、左右兩個攝像頭的中心距T_x以及路況中運動軌跡上的目標點在左右兩個攝像頭的像平面的投影點到各自像平面最左側的物理距離x^l和x^r，左右兩個攝像頭對應的左側的像平面和右側的像平面均為矩形平面，且位于同一成像平面上，左右兩個攝像頭的光心投影分別位于相應像平面的中心處，即O_l、O_r在成像平面的投影點，則視差d為：

d＝x^l-x^r (1)

步驟2.2，利用三角形相似原理建立Q矩陣為：

式(2)和(3)中，(X,Y,Z)為目標點在以左攝像頭光心為原點的立體坐標系中的坐標，W為旋轉平移變換比例系數，(x,y)為目標點在左側的像平面中的坐標，c_x和c_y分別為左側的像平面和右側的像平面的坐標系與立體坐標系中原點的偏移量，c_x'為c_x的修正值；

步驟2.3，計算得到目標點到成像平面的空間距離為：

將左攝像頭的光心所在位置作為機器人所在位置，將目標點的坐標位置信息(X,Y,Z)作為運動軌跡的目標位置信息。

作為本發明的進一步限定方案，步驟3中通過預先訓練過的基于DDPG的深度強化學習網絡來對路況環境照片進行數據降維和特征提取的具體步驟為：

步驟3.1，利用目標足端自主選擇落腳點過程符合強化學習且滿足馬爾科夫性質的條件，計算t時刻之前的觀察量和動作的集合為：

s_t＝(x₁,a₁,...,a_t-1,x_t)＝x_t (5)

式(5)中，x_t和a_t分別為t時刻的觀察量以及所采取的動作；

步驟3.2，利用策略值函數來描述足端自主選擇落腳點過程的預期收益為：