[發(fā)明專利]一種對(duì)多傳感器多目標(biāo)的智能決策方法及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110308094.9
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN112966641B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 李博驍;張峰;高原;王詔豐;王子磊;楊尚彤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V10/774;G06V10/80
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 于金平

1.一種對(duì)多傳感器多目標(biāo)的智能決策方法，其特征在于，包括：

基于目標(biāo)狀態(tài)、傳感器裝備狀態(tài)以及傳感器裝備對(duì)目標(biāo)的動(dòng)作進(jìn)行特征編碼得到各狀態(tài)的特征向量和動(dòng)作的特征向量，基于所述特征向量進(jìn)行訓(xùn)練得到智能體模型，其中，所述目標(biāo)為多個(gè)；

在各種變化的目標(biāo)狀態(tài)下，通過(guò)所述智能體模型實(shí)時(shí)對(duì)多個(gè)目標(biāo)進(jìn)行動(dòng)態(tài)決策，以對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤和識(shí)別；

所述基于目標(biāo)狀態(tài)、傳感器裝備狀態(tài)以及傳感器裝備對(duì)目標(biāo)的動(dòng)作進(jìn)行特征編碼得到各狀態(tài)的特征向量和動(dòng)作的特征向量，包括：將目標(biāo)狀態(tài)和所有傳感器裝備狀態(tài)進(jìn)行融合，通過(guò)狀態(tài)表達(dá)將所述目標(biāo)狀態(tài)和所述傳感器裝備狀態(tài)轉(zhuǎn)換為與決策直接相關(guān)的目標(biāo)狀態(tài)的特征向量、傳感器裝備狀態(tài)的特征向量和動(dòng)作的特征向量；其中，所述決策為所述目標(biāo)狀態(tài)與所述傳感器裝備狀態(tài)下傳感器裝備對(duì)目標(biāo)所執(zhí)行的動(dòng)作；

所述將目標(biāo)狀態(tài)和所有傳感器裝備狀態(tài)進(jìn)行融合，通過(guò)狀態(tài)表達(dá)將所述目標(biāo)狀態(tài)和所述傳感器裝備狀態(tài)轉(zhuǎn)換為與決策直接相關(guān)的目標(biāo)狀態(tài)的特征向量、傳感器裝備狀態(tài)的特征向量和動(dòng)作的特征向量，包括：

將所述目標(biāo)狀態(tài)和所有傳感器裝備狀態(tài)進(jìn)行融合，通過(guò)狀態(tài)表達(dá)將所述目標(biāo)和所述傳感器裝備狀態(tài)轉(zhuǎn)換為與決策直接相關(guān)的狀態(tài)和動(dòng)作的27維的特征向量：state＝[x₁,x₂,...,x₂₇]，通過(guò)對(duì)每一個(gè)目標(biāo)根據(jù)各傳感器裝備對(duì)該目標(biāo)的可見(jiàn)性來(lái)設(shè)置對(duì)應(yīng)特征向量的維度值；

其中，第1維特征向量為目標(biāo)的優(yōu)先級(jí)，第2-4維特征向量為目標(biāo)位置，第5-7維特征向量為目標(biāo)速度，第8-27特征向量為傳感器裝備對(duì)目標(biāo)的可見(jiàn)性和可用資源融合，第8-27特征向量的每一個(gè)維度代表一個(gè)固定的傳感器裝備；

所述通過(guò)對(duì)每一個(gè)目標(biāo)根據(jù)各傳感器裝備對(duì)該目標(biāo)的可見(jiàn)性來(lái)設(shè)置對(duì)應(yīng)特征向量的維度值，包括：

當(dāng)某一傳感器裝備無(wú)可用資源或者對(duì)目標(biāo)不可見(jiàn)時(shí)，則設(shè)置對(duì)應(yīng)特征向量的維度值為0，并對(duì)可見(jiàn)目標(biāo)的特征向量的維度值設(shè)置為對(duì)應(yīng)傳感器狀態(tài)實(shí)際剩余可用資源量的值，以得出可見(jiàn)性和可用資源的融合后的特征向量值；

所述特征向量值為20維的特征向量值，該20維的特征向量值表示對(duì)某一個(gè)目標(biāo)的決策輸出為20維0/1向量action＝[a₁,a₂,...,a₂₀]，每一個(gè)元素代表該位置的裝備是否對(duì)目標(biāo)進(jìn)行跟蹤或識(shí)別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述特征向量進(jìn)行訓(xùn)練得到智能體模型，包括：

步驟一、將狀態(tài)的特征向量、動(dòng)作的特征向量、以及預(yù)設(shè)對(duì)動(dòng)作的獎(jiǎng)勵(lì)值輸入到Q網(wǎng)絡(luò)模型，通過(guò)最小化所述Q網(wǎng)絡(luò)模型的目標(biāo)函數(shù)，并使用梯度下降法進(jìn)行所述Q網(wǎng)絡(luò)模型的參數(shù)更新，然后用所述Q網(wǎng)絡(luò)模型的輸出作為所述智能體模型的目標(biāo)函數(shù)，更新所述智能體模型；

步驟二、不斷循環(huán)步驟一，直至所述Q網(wǎng)絡(luò)模型和智能體模型收斂，得到訓(xùn)練后的智能體模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法中還包括：target?Q網(wǎng)絡(luò)模型；

所述target?Q網(wǎng)絡(luò)模型的結(jié)構(gòu)與所述Q網(wǎng)絡(luò)模型的結(jié)構(gòu)相同，通過(guò)所述target?Q網(wǎng)絡(luò)模型更新所述Q網(wǎng)絡(luò)模型，并取所述target?Q網(wǎng)絡(luò)模型和所述Q網(wǎng)絡(luò)模型的最小值，以防止Q值誤差累加和過(guò)擬合。