[發(fā)明專利]一種分布式鼓勵(lì)時(shí)空數(shù)據(jù)探索的無(wú)人機(jī)路徑規(guī)劃系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010063977.3
• 申請(qǐng)日: 2020-01-20
• 公開(kāi)（公告）號(hào): CN111158401B
• 公開(kāi)（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 劉馳;趙一諾
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G05D1/10
• 分類號(hào): G05D1/10
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國(guó)文

1.一種分布式鼓勵(lì)時(shí)空數(shù)據(jù)探索的無(wú)人機(jī)路徑規(guī)劃系統(tǒng)，其特征在于，包括：主更新節(jié)點(diǎn)和多個(gè)子計(jì)算節(jié)點(diǎn)；其中每個(gè)子計(jì)算節(jié)點(diǎn)對(duì)多個(gè)無(wú)人機(jī)進(jìn)行計(jì)算；

所述子計(jì)算節(jié)點(diǎn)，用于基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法對(duì)多個(gè)無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)信息進(jìn)行計(jì)算，并將神經(jīng)網(wǎng)絡(luò)參數(shù)的梯度推送給主更新節(jié)點(diǎn)；還用于從所述主更新節(jié)點(diǎn)獲取網(wǎng)絡(luò)參數(shù)，并基于所述網(wǎng)絡(luò)參數(shù)進(jìn)行無(wú)人機(jī)位置規(guī)劃和動(dòng)作規(guī)劃；并將所述無(wú)人機(jī)位置規(guī)劃和動(dòng)作規(guī)劃廣播給所述計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的所有無(wú)人機(jī)；

所述主更新節(jié)點(diǎn)，用于根據(jù)所有子計(jì)算節(jié)點(diǎn)推送的梯度更新網(wǎng)絡(luò)參數(shù)，并發(fā)布給所有子節(jié)點(diǎn)；

其中，所述無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)包括：巡檢區(qū)域內(nèi)障礙物的位置、充電樁位置、目標(biāo)點(diǎn)的位置、無(wú)人機(jī)的位置和剩余電量信息。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述子計(jì)算節(jié)點(diǎn)包括：局部探索模塊、局部路徑規(guī)劃模塊、局部模擬環(huán)境和局部樣本池；

所述局部樣本池用于：存儲(chǔ)無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)、無(wú)人機(jī)位置規(guī)劃和動(dòng)作規(guī)劃；

所述局部模擬環(huán)境用于，對(duì)巡檢區(qū)域內(nèi)的多種障礙物、隨機(jī)分布的目標(biāo)點(diǎn)、多個(gè)充電樁以及多個(gè)無(wú)人機(jī)位置進(jìn)行模擬；

所述局部路徑規(guī)劃模塊用于：根據(jù)神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)以及所述局部模擬環(huán)境中模擬的巡檢區(qū)域內(nèi)的障礙物、目標(biāo)點(diǎn)、充電樁以及無(wú)人機(jī)的位置，對(duì)無(wú)人機(jī)提供路徑規(guī)劃策略，同時(shí)計(jì)算損失函數(shù)，并使用反向傳播算法，計(jì)算網(wǎng)絡(luò)參數(shù)的梯度，并將所述梯度傳遞給主更新節(jié)點(diǎn)，并存儲(chǔ)于所述局部樣本池中；

所述局部探索模塊用于：根據(jù)所述局部樣本池中的數(shù)據(jù)，基于神經(jīng)網(wǎng)絡(luò)算法計(jì)算損失函數(shù)，并使用反向傳播算法，計(jì)算網(wǎng)絡(luò)參數(shù)的梯度，并將所述梯度傳遞給主更新節(jié)點(diǎn)；

其中，所述路徑規(guī)劃是指為每一個(gè)無(wú)人機(jī)決定其下一步要到達(dá)的位置；所述動(dòng)作規(guī)劃，用于當(dāng)無(wú)人機(jī)每次到達(dá)一個(gè)地點(diǎn)，要執(zhí)行的動(dòng)作；所述動(dòng)作包括：巡邏或充電中的一種。

3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述局部路徑規(guī)劃模塊的神經(jīng)網(wǎng)絡(luò)包括狀態(tài)特征提取網(wǎng)絡(luò)、策略網(wǎng)絡(luò)和值函數(shù)網(wǎng)絡(luò)；

所述狀態(tài)特征提取網(wǎng)絡(luò)，用于基于局部樣本池中的當(dāng)前時(shí)刻無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)進(jìn)行特征提取與降維得到一維實(shí)向量的狀態(tài)特征；

所述值函數(shù)網(wǎng)絡(luò)，用于基于當(dāng)前時(shí)刻無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)特征到無(wú)人機(jī)巡邏結(jié)束對(duì)應(yīng)的狀態(tài)特征，對(duì)所述無(wú)人機(jī)獲得的累積回報(bào)進(jìn)行值估計(jì)，并基于值估計(jì)采用神經(jīng)網(wǎng)絡(luò)算法計(jì)算值函數(shù)網(wǎng)絡(luò)的損失和代理目標(biāo)，并使用反向傳播算法，計(jì)算網(wǎng)絡(luò)參數(shù)的梯度，并將所述梯度傳遞給主更新節(jié)點(diǎn)；

所述策略網(wǎng)絡(luò)，用于基于當(dāng)前時(shí)刻無(wú)人機(jī)以及巡檢區(qū)域內(nèi)設(shè)備的狀態(tài)特征和所述值函數(shù)網(wǎng)絡(luò)的損失和代理目標(biāo)結(jié)合激勵(lì)機(jī)制對(duì)無(wú)人機(jī)進(jìn)行路徑規(guī)劃與動(dòng)作規(guī)劃。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述值估計(jì)按下式計(jì)算：

式中，G_t累計(jì)回報(bào)值；A_t：策略網(wǎng)絡(luò)的更新基準(zhǔn)；預(yù)估值；所述值函數(shù)網(wǎng)絡(luò)的損失，按下式計(jì)算：

式中，G_t為從當(dāng)前t時(shí)刻開(kāi)始，到巡邏T時(shí)刻結(jié)束，獲得的獎(jiǎng)勵(lì)累積和；由值函數(shù)網(wǎng)絡(luò)得到的預(yù)估值；T：巡邏時(shí)刻；

所述代理目標(biāo)按下式計(jì)算：

式中，a_t：t時(shí)刻無(wú)人機(jī)的動(dòng)作；s_t：代表策略神經(jīng)網(wǎng)絡(luò)的輸入；A_t：策略網(wǎng)絡(luò)更新的基準(zhǔn)；∈：取0.1。