[發(fā)明專利]一種舞臺環(huán)境下的移動智能體動態(tài)路徑規(guī)劃方法

在審

• 申請?zhí)枺?/td>: 202210465123.7
• 申請日: 2022-04-29
• 公開（公告）號: CN114815834A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 劉安東;張柏鑫;倪洪杰;曹瀚仁
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 湯明

1.一種舞臺環(huán)境下的移動智能體動態(tài)路徑規(guī)劃方法，其特征在于，包括以下步驟：

1)基于gym庫建立移動智能體和動靜態(tài)障礙物的仿真環(huán)境模型；

2)設(shè)計馬爾可夫決策過程,馬爾可夫決策過程通過五元組表示S,A,P,R,γ，設(shè)計狀態(tài)空間S、動作空間A、轉(zhuǎn)移概率P、獎勵R和折扣因子γ；

3)設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

4)使用最佳互惠碰撞避免算法ORCA，通過模仿學(xué)習(xí)預(yù)訓(xùn)練來初始化網(wǎng)絡(luò)參數(shù)；模仿學(xué)習(xí)結(jié)束之后然后通過移動智能體在仿真環(huán)境下的實際交互進(jìn)行訓(xùn)練來優(yōu)化網(wǎng)絡(luò)參數(shù)；

5)通過自適應(yīng)時刻估計方法Adam訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到最優(yōu)值函數(shù)：

V^*(u_t)＝∑γ^Δt·Vpref·P(u_t,a_t)

6)通過最大化累計回報來設(shè)定最優(yōu)策略：

其中，u_t表示當(dāng)前移動智能體和障礙物的聯(lián)合狀態(tài)，a_t表示動作空間的集合，γ表示衰減因子，Δt表示兩個動作之間的時間間隔，Vpref表示首選速度，V^*表示在最優(yōu)值函數(shù)，P表示為狀態(tài)轉(zhuǎn)移函數(shù)，R表示為獎勵函數(shù)；表示下一時刻的聯(lián)合狀態(tài)；

7)根據(jù)最優(yōu)策略來選擇當(dāng)前時刻的動作a_t直到移動智能體到達(dá)目標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種舞臺環(huán)境下的移動智能體動態(tài)路徑規(guī)劃方法，其特征在于，所述步驟1)中基于gym庫建立仿真環(huán)境模型，將移動智能體和動態(tài)障礙物設(shè)定為半徑為0.3米的圓，而將靜態(tài)障礙物定義為半徑在0.5米到1米之間的圓形或者為面積在1平方米到1.5平方米之間的四邊形。

3.根據(jù)權(quán)利要求1所述的一種舞臺環(huán)境下的移動智能體動態(tài)路徑規(guī)劃方法，其特征在于，所述步驟2)中，設(shè)定狀態(tài)空間S，其中動態(tài)障礙物的狀態(tài)為S_D＝[P_x,P_y,V_x,V_y,r,V_pref]、靜態(tài)障礙物的狀態(tài)為S_S＝[P_x,P_y,r]、移動智能體的狀態(tài)為S_T＝[P_x,P_y,G_x,G_y,V_x,V_y,θ,r,V_pref]、聯(lián)合狀態(tài)u_t＝[S_T,S_S,S_D]；其中(P_x,P_y)為移動智能體和動靜態(tài)障礙物的當(dāng)前位置，(G_x,G_y)為所設(shè)定的目標(biāo)點的位置，θ為移動智能體的航向角，r為移動智能體和動靜態(tài)障礙物的半徑大小，V_pref為移動智能體的首選速度，(V_x,V_y)為移動智能體和動態(tài)障礙物的移動速度；

動作空間A為線速度和角速度，為了符合動力學(xué)約束，角速度分成18等分在[-π/4,π/4]區(qū)間內(nèi)，線速度按照指數(shù)函數(shù)x取1，2，3，4，5可獲得5個變化平滑的線速度；動作空間共有90種動作組合；

轉(zhuǎn)移概率P通過移動智能體在仿真環(huán)境下的實際交互來轉(zhuǎn)移狀態(tài)；獎勵R設(shè)置為：

其中G_x,y是目標(biāo)點的位置信息，P_x,y是移動智能體的當(dāng)前位置信息，d_s是移動智能體和靜態(tài)障礙物之間的距離，d_d是移動智能體和動態(tài)障礙物之間的距離。