[發(fā)明專利]基于Skinner操作條件反射自動(dòng)機(jī)的機(jī)器人軌跡跟蹤方法

在審

• 申請?zhí)枺?/td>: 201410844504.1
• 申請日: 2014-12-30
• 公開（公告）號: CN104570738A
• 公開（公告）日: 2015-04-29
• 發(fā)明（設(shè)計(jì)）人: 阮曉鋼;李笑漪;肖堯;張曉銳;劉冰
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05D1/02
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

1.基于Skinner操作條件反射自動(dòng)機(jī)的機(jī)器人軌跡跟蹤方法，其特征在于包括以下步驟：

步驟1：確定Skinner操作條件反射機(jī)的數(shù)學(xué)模型，SKCOA；

SKCOA自動(dòng)機(jī)是離散的一個(gè)七元組，SKCOA＝＜S,A,f,δ,P,L,H＞，S為離散狀態(tài)組合集合，A為自動(dòng)機(jī)可選擇動(dòng)作操作集合，f為狀態(tài)轉(zhuǎn)移函數(shù)，δ是取向函數(shù)，P為每一狀態(tài)下選擇操作的概率集合，令初始概率分布為均勻分布，L為自動(dòng)機(jī)的操作條件反射學(xué)習(xí)機(jī)制，H為自動(dòng)機(jī)操作行為熵；

步驟2：確定SKCOA自動(dòng)機(jī)可選擇的操作集合A；

操作集合A＝{v_k,ω_j|k＝1,2,...,n_a1,j＝1,2,...,n_a2},v_k為機(jī)器人前進(jìn)的速度，ω_j為機(jī)器人轉(zhuǎn)過的角速度，n_a1,n_a2分別為速度和角速度的操作集大小，n_a＝n_a1*n_a2，n_a為操作集大小；

步驟3：獲得機(jī)器人在t的時(shí)刻的狀態(tài)集合S＝{e_i|i＝1,2,...,n_s}；

機(jī)器人t時(shí)刻在環(huán)境地圖中的坐標(biāo)位置，記作s_i|t＝(x_i,y_i,θ_i)；x_i,y_i分別為機(jī)器人t時(shí)刻所在的橫縱坐標(biāo)，θ_i為機(jī)器人與橫軸夾角；期望軌跡坐標(biāo)點(diǎn)為s_oi|t＝(x_oi,y_oi,θ_oi)；x_oi,y_oi分別為機(jī)器人期望軌跡在t時(shí)刻的橫縱坐標(biāo)，θ_oi為期望位姿與橫軸夾角；機(jī)器人在t的時(shí)刻的狀態(tài)集合為S₁＝{e_i|i＝1,2,...,n_s}＝s_oi-s_i＝(x_oi-x_i,y_oi-y_i,θ_oi-θ_i)，n_s為狀態(tài)集合大小；將坐標(biāo)轉(zhuǎn)換為以機(jī)器人為坐標(biāo)原點(diǎn)的坐標(biāo)系中，S＝T·S₁，T為旋轉(zhuǎn)矩陣；

步驟4：根據(jù)概率集合，從動(dòng)作集中選擇一組動(dòng)作，即選擇前行的速度v_k和角速度ω_k；

步驟5：計(jì)算狀態(tài)轉(zhuǎn)移，方法如下：

xn=xo+vk*ts*cosθnyn=yo+vk*ts*sinθnθn=θo+ωk*ts]]>

式中，x_n、y_n、θ_n分別代表動(dòng)作選擇后機(jī)器人新的橫縱坐標(biāo)以及機(jī)器人的朝向角度，x_o、y_o、θ_o分別代表動(dòng)作選擇前機(jī)器人新的橫縱坐標(biāo)以及機(jī)器人的朝向角度，t_s為機(jī)器人傳感器的采樣時(shí)間；

步驟6：計(jì)算能量函數(shù)eng的值；

能量函數(shù)用于表示機(jī)器人當(dāng)前位置與軌跡的距離關(guān)系，記作eng＝eng(S)＝{eng(S_i)|i＝1,2,...,n_s}∈R，距離越近，eng越小，反之，eng越大，方法如下：

eng(Si)=12(ei2+ei2)]]>

步驟7：計(jì)算取向函數(shù)δ值；

取向函數(shù)δ＝δ(S,A)＝{δ_ik|i＝1,2,...,n_s；k＝1,2,...,n_a}，模擬了自然界中生物的取向性，方法如下：

δ_ik＝eng(S_i)-eng(S_i+1)

其中δ_ik表示s_i∈S執(zhí)行動(dòng)作(v_k,ω_k)∈A后系統(tǒng)性能的變化；δ＜0時(shí)，為負(fù)取向，說明系統(tǒng)性能趨向變差；δ＝0時(shí)，為零取向，說明系統(tǒng)性能趨向不變；δ＞0時(shí)，為正取向，說明系統(tǒng)性能趨向變好；

步驟8：根據(jù)Skinner操作條件反射原理調(diào)整動(dòng)作集概率分布P；

動(dòng)作集概率分布的規(guī)則為：正強(qiáng)化時(shí)，動(dòng)作概率增加；負(fù)強(qiáng)化時(shí)，動(dòng)作概率減少；設(shè)t時(shí)刻狀態(tài)s_m，選擇操作a_k執(zhí)行，通過狀態(tài)轉(zhuǎn)移到s_n；

當(dāng)δ＞0時(shí)，pmk(t+1)=pmk(t)+α1(t)*[1-pmk(t)]pmk′(t+1)=pmk′(t)+α1(t)*pmk′(t),]]>

α1(t)=η11+exp(eng(si+1));]]>

當(dāng)δ＜0時(shí)，pmk(t+1)=pmk(t)+α2(t)*[1r-1-pmk(t)]pmk′(t+1)=pmk′(t)+α2(t)*pmk′(t),]]>

α1(t)=η21+exp(eng(si+1));]]>

式中，η₁＞0,η₂＞0；α₁(t),α₂(t)為學(xué)習(xí)速率函數(shù)，0＜α₁(t)＜1,0＜α₂(t)＜1；p_mk(t)為t時(shí)刻機(jī)器人在狀態(tài)s_m下選擇動(dòng)作a_k的概率；p_mk'(t)為t時(shí)刻機(jī)器人在狀態(tài)s_m下選擇動(dòng)作除a_k外的其他操作的概率；

步驟9：計(jì)算t時(shí)刻系統(tǒng)熵；

H(t)=-Σk=1napik(t)log2pik(t)]]>

式中，p_ik(t)為機(jī)器人在狀態(tài)s_i下選擇動(dòng)作a_k的概率；

步驟10：判斷熵是否趨于最小值H_min，如果是，標(biāo)志著系統(tǒng)已達(dá)到自組織，機(jī)器人已形成操作條件反射習(xí)得最優(yōu)動(dòng)作，則本次學(xué)習(xí)結(jié)束，轉(zhuǎn)到測試階段；否則，轉(zhuǎn)步驟2；

步驟11：測試階段，載入期望軌跡和速度；

步驟12：在保持概率矩陣P不變，根據(jù)概率從操作集中選擇操作執(zhí)行，按照狀態(tài)轉(zhuǎn)移公式計(jì)算新的狀態(tài)，循環(huán)往復(fù)；

步驟13：判斷機(jī)器人當(dāng)前位置是否為終點(diǎn)，如果是，則結(jié)束，否則，轉(zhuǎn)步驟11，繼續(xù)測試階段。