[發(fā)明專(zhuān)利]基于深度強(qiáng)化學(xué)習(xí)的作戰(zhàn)體系設(shè)計(jì)方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210535183.1
• 申請(qǐng)日: 2022-05-17
• 公開(kāi)（公告）號(hào): CN114970334A
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 陳濤;林萌龍;張萌萌;陳洪輝;張曉雪;徐成濤;劉俊先;羅愛(ài)民;舒振
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類(lèi)號(hào): G06F30/27
• 分類(lèi)號(hào): G06F30/27;G06N3/04;G06N3/08
• 代理公司: 北京風(fēng)雅頌專(zhuān)利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于深度強(qiáng)化學(xué)習(xí)的作戰(zhàn)體系的設(shè)計(jì)方法，其特征在于，包括：

利用預(yù)置的多個(gè)作戰(zhàn)系統(tǒng)的和多個(gè)作戰(zhàn)任務(wù)構(gòu)建組合優(yōu)化模型和輸入序列；

將所述輸入序列輸入預(yù)構(gòu)建的指針網(wǎng)絡(luò)的編碼器中，所述編碼器將所述輸入序列映射為特征向量；

將所述特征向量輸入到預(yù)構(gòu)建的所述指針網(wǎng)絡(luò)的解碼器中，所述解碼器采用注意力機(jī)制確定輸出序列，所述輸出序列中包括多個(gè)所述作戰(zhàn)體系；

根據(jù)所述組合優(yōu)化模型計(jì)算選擇各個(gè)所述作戰(zhàn)體系的獎(jiǎng)勵(lì)回報(bào)，根據(jù)所述獎(jiǎng)勵(lì)回報(bào)，采用梯度下降的方式更新所述指針網(wǎng)絡(luò)的參數(shù)，并利用更新的參數(shù)對(duì)指針網(wǎng)絡(luò)進(jìn)行訓(xùn)練，響應(yīng)于達(dá)到預(yù)設(shè)的終止條件，完成訓(xùn)練并利用訓(xùn)練完的所述指針網(wǎng)絡(luò)實(shí)施作戰(zhàn)體系的設(shè)計(jì)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用預(yù)置的多個(gè)作戰(zhàn)系統(tǒng)的和多個(gè)作戰(zhàn)任務(wù)構(gòu)建組合優(yōu)化模型和輸入序列，包括：

確定所述作戰(zhàn)系統(tǒng)的個(gè)數(shù)、多個(gè)所述作戰(zhàn)系統(tǒng)各自提供的能力、作戰(zhàn)任務(wù)的個(gè)數(shù)、多個(gè)所述作戰(zhàn)任務(wù)各自的能力需求、和多個(gè)所述作戰(zhàn)系統(tǒng)各自的成本；

利用各個(gè)所述作戰(zhàn)系統(tǒng)各自提供的能力和各個(gè)所述作戰(zhàn)系統(tǒng)各自的成本構(gòu)建組合優(yōu)化模型；

利用各個(gè)所述作戰(zhàn)任務(wù)的能力需求、各個(gè)所述作戰(zhàn)系統(tǒng)提供的能力和各個(gè)所述作戰(zhàn)系統(tǒng)的成本建立輸入序列；

其中，所述輸入序列的包括有多個(gè)節(jié)點(diǎn)，每個(gè)所述節(jié)點(diǎn)包括1個(gè)作戰(zhàn)系統(tǒng)提供的能力、1個(gè)作戰(zhàn)任務(wù)的能力需求和該作戰(zhàn)系統(tǒng)的成本。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用各個(gè)所述作戰(zhàn)系統(tǒng)各自提供的能力和各個(gè)所述作戰(zhàn)系統(tǒng)各自的成本構(gòu)建組合優(yōu)化模型，包括：

利用各個(gè)所述作戰(zhàn)系統(tǒng)各自提供的能力和各個(gè)所述作戰(zhàn)系統(tǒng)各自的成本構(gòu)建體系總成本最小化的目標(biāo)；

將每個(gè)所述作戰(zhàn)系統(tǒng)約束為最多只用于完成1個(gè)作戰(zhàn)任務(wù)；

將完成1個(gè)作戰(zhàn)任務(wù)的多個(gè)作戰(zhàn)系統(tǒng)各自的能力之和約束為大于等于該作戰(zhàn)任務(wù)的能力需求。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述編碼器將所述輸入序列映射為特征向量，包括：

將所述輸入序列中的每個(gè)所述節(jié)點(diǎn)編碼1個(gè)嵌入向量；

將全部所述嵌入向量組成為特征向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述所述解碼器采用注意力機(jī)制確定輸出序列，包括：

采用注意力機(jī)制計(jì)算選擇每個(gè)所述嵌入向量的注意力值；

對(duì)全部所述嵌入向量的注意力值進(jìn)行概率分布的計(jì)算，得到選擇各個(gè)所述節(jié)點(diǎn)的概率；

選擇所述概率最大的節(jié)點(diǎn)，作為當(dāng)前時(shí)刻的輸出動(dòng)作；

將所述當(dāng)前時(shí)刻的輸出動(dòng)作與之前全部時(shí)刻的輸出動(dòng)作結(jié)合為當(dāng)前時(shí)刻的所述輸出序列。

6.根據(jù)權(quán)利要3所述的方法，其特征在于，所述根據(jù)所述組合優(yōu)化模型計(jì)算選擇各個(gè)所述作戰(zhàn)體系的獎(jiǎng)勵(lì)回報(bào)，包括：

對(duì)于各個(gè)所述作戰(zhàn)體系，執(zhí)行操作：

將所述作戰(zhàn)體系的所述獎(jiǎng)勵(lì)回報(bào)與所述組合優(yōu)化模型中的所述體系總成本最小化的目標(biāo)之間建立反比關(guān)系。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述指針網(wǎng)絡(luò)的編碼器的預(yù)構(gòu)建，包括：

采用一維卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建所述編碼器；

所述指針網(wǎng)絡(luò)的解碼器的預(yù)構(gòu)建，包括：

采用記憶存儲(chǔ)功能的循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建所述解碼器。