[發明專利]基于策略梯度學習法的模型參數修正方法及修正器

有效

• 申請號: 201610841970.3
• 申請日: 2016-09-22
• 公開（公告）號: CN106292288B
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 陳啟軍;劉成菊;寧靜
• 申請（專利權）人: 同濟大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 上海科盛知識產權代理有限公司31225
• 代理人: 趙志遠

1.基于策略梯度學習法的模型參數修正方法，其特征在于，包括以下步驟：

S1：選擇倒立擺輸入參數和機器人軀干姿態參數為修正量，建立修正量的模型參數修正方程，所述模型參數修正方程內包含待優化的增益系數，

S2：選擇機器人質心跟蹤的誤差以及機器人身體姿態相對于直立狀態的誤差作為機器人對當前環境的適應度指標，建立適應度評價函數，

S3：根據適應度評價函數，利用策略梯度學習法優化模型參數修正方程中的增益系數，將優化后的增益參數代入模型參數修正方程得到修正量，

步驟S1中，選擇為修正量的倒立擺輸入參數包括x軸向步伐大小和y軸向步伐大小，選擇為修正量的機器人軀干姿態參數包括x軸向軀干角和y軸向軀干角，所述模型參數修正方程具體為：

Δsx=K1·1NΣi=1N(xf,x,i-xe,x,i)+K3·1NΣi=1N(θB,y,i-θB,y,iref)]]>

Δsy=K2·1NΣi=1N(xf,y,i-xe,y,i)+K4·1NΣi=1N(θB,x,i-θB,x,iref)]]>

ΔθB,x=K5·1NΣi=1N(pLHip,z,i-pRHip,z,i)]]>

ΔθB,y=K6·1NΣi=1N(pSuppFoot,x,i-pHead,x,i)]]>

其中，下標x、y、z分別表示x、y、z軸向，s為步伐大小，Δs為步伐大小的修正量，θ_B為軀干角，Δθ_B為軀干角的修正量，N為一個單腳支撐階段的插值的步數，下標i表示單腳支撐階段中第i個步數，x_f為卡爾曼濾波后質心的估計值，x_e為質心的理想值，為軀干直立時的傾斜角，p_RHip和p_LHip分別為機器人右腿和左腿髖關節的位移，p_Head和p_SuppFoot分別為機器人頭部關節和支撐腳的位移，K₁,...,K₆為增益參數；

所述適應度評價函數F(K)具體為：

F(K‾)=αx(|Δsx|+|Δx‾x|)+αy(|Δsy|+|Δx‾y|)+βx(|ΔθB,x|+|Δθ‾B,x|)+βy(|ΔθB,y|+|Δθ‾B,y|)]]>

Δx‾x=1NΣi=1N(xf,x,i-xe,x,i)]]>

Δx‾y=1NΣi=1N(xf,y,i-xe,y,i)]]>

Δθ‾B,x=1NΣi=1N(θB,x,i-θB,x,iref)]]>

Δθ‾B,y=1NΣi=1N(θB,y,i-θB,y,iref)]]>

其中，K＝{K₁,...,K₆}表示增益參數集，α_x、α_y、β_x和β_y為權重因子，且滿足α_x+α_y＝1，β_x+β_y＝1，適應度評價函數的值越小，表示機器人在增益參數集下的適應度越高；

所述策略梯度學習法的具體步驟為：

301：在第k次迭代中，對于上一次迭代獲得的增益參數集K^k-1，并在K^k-1附近隨機生成n個策略，得到的策略集用_mK^k-1(m＝1,...,n)表示，策略的個數n與搜索空間成正比，策略集的生成公式如下：

_mK^k-1＝K^k-1+_mρ

其中，_mρ(m＝1,...,n)表示擾動集合，擾動集合中每個擾動ρ_m在集合{-e_m,0,+e_m}中隨機選取，e_m表示對應ρ_m的擾動增益參量，

302：根據擾動ρ_m的-e_m,0,+e_m取值情況將_mK^k-1對應分成三組：G₀和將_mK^k-1代入適應度評價函數，得到每個分組對應的平均值：和

303：計算近似的梯度值▽K^k-1，若且▽K^k-1＝0，否則

304：對▽K^k-1進行正交化處理，乘一個固定的步長因子η得到梯度值從策略集K^k-1減去梯度值得到本次迭代的策略集K^k，并利用K^k進行下一次的迭代，

305：當迭代次數達到預設值N_iter時，迭代結束。