[發明專利]一種基于Q學習的機械臂末端避障方法

在審

• 申請號: 201810835401.7
• 申請日: 2018-07-26
• 公開（公告）號: CN109048892A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 袁建平;李晨熹;張博;王錚;方靜;徐楊;魏錦源;彭志旺
• 申請（專利權）人: 西北工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

一種基于Q學習的機械臂末端避障方法，包括以下步驟：步驟1：采用拉格朗日方法對空間六自由度機械臂進行位置級、速度級運動學和動力學建模；步驟2：針對障礙物模型、關節角約束建立適應度函數；步驟3：采用五階多項式對機械臂路徑進行擬合，并對機械臂末端軌跡使用Q學習進行規劃，滿足使適應度函數最優。本發明針對機械臂抓捕任務中，機械臂通過自學習對可能出現的障礙物進行有效的規避，并在滿足一定約束情況下的最優路徑進行規劃。

技術領域

本發明屬于空間機械臂領域，特別涉及一種基于Q學習的機械臂末端避障方法。

背景技術

路徑規劃一直是機器人學研究領域的一個熱點，機器人路徑規劃問題研究的是如何依據某種最優準則，規劃出一條讓機器人可以從出發點到達目標點，并可以安全避開障礙物的最優路徑或者是次最優路徑是現有研究遇到的問題。

發明內容

本發明的目的在于提供一種基于Q學習的機械臂末端避障方法，以解決上述問題。

為實現上述問題，本發明采用以下技術方案：

一種基于Q學習的機械臂末端避障方法，包括以下步驟：

步驟1：采用拉格朗日方法對空間六自由度機械臂進行位置級、速度級運動學和動力學建模；

步驟2：針對障礙物模型、關節角約束建立適應度函數；

步驟3：采用五階多項式對機械臂路徑進行擬合，并對機械臂末端軌跡使用Q學習進行規劃，滿足使適應度函數最優。

進一步的，步驟1中，拉格朗日法建立空間六自由度機械臂模型；

位置級運動學方程：

為第i個連桿相對于基坐標系位姿的齊次變換矩陣，為第i個連桿相對于第i-1個連桿位姿的齊次變換矩陣，固定在末端連桿上的坐標系為n；

速度級運動學方程：

表示空間機械臂末端在慣性系下的線速度和角速度，J_b表示基座速度與機械臂末端速度之間的雅可比矩陣，表示基座在慣性系下的線速度和角速度，J_m表示關節角速度與機械臂末端速度之間的雅可比矩陣，表示關節角速度；

動力學方程：

H為表示基座慣量和基座與機械臂耦合慣量的矩陣，c_b、c_m分別為基座和機械臂運動有關的非線性力項，F_b、F_e分別為基座和機械臂末端執行器上的外作用力和力矩，τ_m為機械臂各關節外力矩。

進一步的，步驟2中，適應度函數建立；

障礙物模型：

P_n＝(x_n1,x_n2)

建立障礙物在空間內的坐標定義；

使關節角限定在給定的范圍內，設計如下：

α_i為每個關節角的權重，θ_imax、θ_imin為第i個關節角期望的上下限；

綜合上述條件，得適應度函數：

X_n為機械臂末端空間坐標，k₁、k₂分別為兩項的權重。