[發明專利]一種基于Q學習的機械臂末端避障方法

在審

• 申請號: 201810835401.7
• 申請日: 2018-07-26
• 公開（公告）號: CN109048892A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 袁建平;李晨熹;張博;王錚;方靜;徐楊;魏錦源;彭志旺
• 申請（專利權）人: 西北工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.一種基于Q學習的機械臂末端避障方法，其特征在于，包括以下步驟：

步驟1：采用拉格朗日方法對空間六自由度機械臂進行位置級、速度級運動學和動力學建模；

步驟2：針對障礙物模型、關節角約束建立適應度函數；

步驟3：采用五階多項式對機械臂路徑進行擬合，并對機械臂末端軌跡使用Q學習進行規劃，滿足適應度函數最優。

2.根據權利要求1所述的一種基于Q學習的機械臂末端避障方法，其特征在于，步驟1中，拉格朗日法建立空間六自由度機械臂模型；

位置級運動學方程：

為第i個連桿相對于基坐標系位姿的齊次變換矩陣，為第i個連桿相對于第i-1個連桿位姿的齊次變換矩陣，固定在末端連桿上的坐標系為n；

速度級運動學方程：

表示空間機械臂末端在慣性系下的線速度和角速度，J_b表示基座速度與機械臂末端速度之間的雅可比矩陣，表示基座在慣性系下的線速度和角速度，J_m表示關節角速度與機械臂末端速度之間的雅可比矩陣，表示關節角速度；

動力學方程：

H為表示基座慣量和基座與機械臂耦合慣量的矩陣，c_b、c_m分別為基座和機械臂運動有關的非線性力項，F_b、F_e分別為基座和機械臂末端執行器上的外作用力和力矩，τ_m為機械臂各關節外力矩。

3.根據權利要求1所述的一種基于Q學習的機械臂末端避障方法，其特征在于，步驟2中，適應度函數建立；

障礙物模型：

P_n＝(x_n1,x_n2)

建立障礙物在空間內的坐標定義；

使關節角限定在給定的范圍內，設計如下：

α_i為每個關節角的權重，θ_imax、θ_imin為第i個關節角期望的上下限；

綜合上述條件，得適應度函數：

X_n為機械臂末端空間坐標，k₁、k₂分別為兩項的權重。

4.根據權利要求1所述的一種基于Q學習的機械臂末端避障方法，其特征在于，步驟3中，機械臂軌跡規劃；

采用五階多項式差值算法對機械臂軌跡進行描述：假設某一關節在開始時刻t₀＝0的關節角度為θ₀，在終止時刻t_f的關節角度為θ_f，滿足此條件的光滑軌跡用θ(t)表示，a₀...a₅為多項式差值系數；

θ(t)＝a₀+a₁t+a₂t²+...+a₅t⁵

五次多項式的一階導函數、二階導函數分別作為關節速度、加速度的時間函數在起始點和終止點的約束條件分別為：

解出：

5.根據權利要求1所述的一種基于Q學習的機械臂末端避障方法，其特征在于，步驟3中，Q學習進行末端規劃；

基于貝爾曼方程得出Q值形式

Q(s_n,a_n)＝E{r_n+γQ(s_n+1,a_n+1)}

s_n為n時刻狀態、a_n為n時刻動作、E為期望、r_n為n時刻即時獎勵、γ為折扣因子、Q為預測回報；

Q(s_n+1,a_n+1)＝Q(s_n,a_n)+α_n{r_n+γmaxQ(s_n+1,a_n)-Q(s_n,a_n)}

a.對每一步進行Q值更新；

b.對當前狀態的所有可能的動作中，選擇一個可能的動作，使用這個可能的動作，到達下一個狀態；

c.對下一個狀態，基于其所有可能的動作，獲得最大的Q值；

d.重復上述流程，獲得最佳預測回報Q；

e.解算Q矩陣得到機械臂末端軌跡。