[發(fā)明專利]一種基于Q學(xué)習(xí)和胸鰭鰭條偏置的仿生魚俯仰控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211567754.6
• 申請(qǐng)日: 2022-12-07
• 公開（公告）號(hào): CN115793678A
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 曹勇;張代利;潘光;曹永輝;黃橋高
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)寧波研究院;西北工業(yè)大學(xué)
• 主分類號(hào): G05D1/06
• 分類號(hào): G05D1/06
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 王鮮凱

1.一種基于Q學(xué)習(xí)和胸鰭鰭條偏置的仿生魚俯仰控制方法，其特征在于步驟如下：

步驟1、建立仿蝠鲼機(jī)器魚快速俯仰控制問(wèn)題的有限馬爾科夫模型：

1、俯仰控制的離散狀態(tài)空間S，俯仰角度的反饋為θ∈[0°，360°)，傳感器反饋俯仰角為俯仰真值，期望俯仰的取值范圍為θ′∈[0°，+360°)；

俯仰偏差Δθ的取值范圍：Δθ＝θ-θ′，Δθ∈(-360°，+360°)

狀態(tài)空間離散化：＝{s_-n，s_-n+1，…，s_-1，s₀，s₁，…，s_n-1，s_n}

其中：

s_-n＝(-180°，Δθ_-n]，

s_-n+1＝(Δθ_-n，Δθ_-n+1]，

……，

s_-1＝(Δθ_-2，Δθ_-1]，

s₀＝(Δθ_-1，Δθ₁)，

s₁＝(Δθ₁，Δθ₂]，

……，

s_n-1＝(Δθ_n-1，Δθ_n]

s_n＝(Δθ_n，180°)

其中，Δθ_i的取值范圍可以根據(jù)實(shí)際情況調(diào)整，其中一種簡(jiǎn)單的方式為取Δθ_i＝360°/n，i∈{-n，-n+1，…，-1，0，1，…，n-1，n}；

2、建立離散動(dòng)作空間A：

A＝{a_-n，a_-n+1，…，a_-1，a₀，a₁，…，a_n-1，a_n}

其中a表示動(dòng)作空間的元素，代表固定的胸鰭前級(jí)鰭條和后級(jí)鰭條偏置的角度總和，且-180°≤a≤180°，左右胸鰭采用對(duì)稱的偏置角度作為控制量的響應(yīng)；

3、設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)：

其中：r_t+1為在時(shí)刻t，狀態(tài)為s_t，動(dòng)作為a_t,下一時(shí)刻狀態(tài)為s_t+1，得到的獎(jiǎng)勵(lì)；δ為調(diào)整仿蝠鲼機(jī)器魚的俯仰控制精度的參數(shù)；

步驟2、建立動(dòng)作-價(jià)值函數(shù)表格Q(s,a)：

步驟3、訓(xùn)練Q表格：

1、以原始深度和姿態(tài)變化數(shù)據(jù)，計(jì)算t時(shí)刻獎(jiǎng)勵(lì)函數(shù)r_t+1(s_t,a_t)；

建立訓(xùn)練Q表的數(shù)據(jù)集Data_test，設(shè)存儲(chǔ)量為N，里面存儲(chǔ)狀態(tài)轉(zhuǎn)移信息Transition；

其中：Data_test＝{Transition₁,Transition₂,…,Transition_N}

Transition_i＝{s_t,a_t,s_t+1,r_t+1}

2、Q(s_n,a_n)更新公式的為：

其中，α為學(xué)習(xí)率，γ為折扣因子；

3、從訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取數(shù)據(jù)，根據(jù)上步Q(s_n,a_n)更新公式計(jì)算公式循環(huán)更新表格，直到Q表中Q價(jià)值的變化誤差小于規(guī)定值ε；

步驟4、設(shè)計(jì)控制策略：

在狀態(tài)為s時(shí)，選擇使得Q(s,a)取得最大值的動(dòng)作a。

2.根據(jù)權(quán)利要求1所述基于Q學(xué)習(xí)和胸鰭鰭條偏置的仿生魚俯仰控制方法，其特征在于：所述原始深度和姿態(tài)變化實(shí)驗(yàn)數(shù)據(jù)通過(guò)實(shí)驗(yàn)手段獲得或者前人做實(shí)驗(yàn)獲得。