[發明專利]無人機決策模型訓練方法、使用方法、設備及介質

有效

• 申請號: 202111503559.2
• 申請日: 2021-12-09
• 公開（公告）號: CN114239392B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 袁銀龍;焦朋朋;許亞龍;程赟;桑小虎;華亮;李俊紅
• 申請（專利權）人: 南通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/045;G06N3/08;G06Q10/0637;G06Q50/26
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 賀小旺

本申請公開了一種無人機決策模型訓練方法、使用方法、設備及介質，訓練方法包括：獲取第一無人機的第一態勢信息與第二無人機的第二態勢信息；根據第一態勢信息與第二態勢信息生成第一融合信息并輸入待訓練模型的評估層網絡，評估層網絡基于第一策略生成分值期望，待訓練模型的決策層網絡根據分值期望生成第二策略并基于第二策略生成第一動作指令；向第一無人機發送第一動作指令，并獲取第一無人機的第三態勢信息與第二無人機的第四態勢信息；將根據第三態勢信息與第四態勢信息生成的第二融合信息輸入評估層網絡以更新第一策略，直至待訓練模型訓練完成，得到無人機決策模型，通過該模型提升無人機的適應能力、實現無人機決策的自主化與智能化。

技術領域

本申請涉及無人機技術領域，尤其涉及一種無人機決策模型訓練方法、使用方法、設備及介質。

背景技術

目前，無人機在軍事領域的應用十分廣泛，尤其在戰場環境分析、無人機群組作戰等方面都發揮著重要作用，而在無人機群組作戰的應用中，無人機完成任務作業的自主性是其中的關鍵因素。

但當前無人機群在實際的作戰對抗時不夠智能而且場景適應性差，需要一定程度的人工干預，導致無人機群在復雜的作戰環境中難以作出準確的動作決策無法連續執行復雜的戰斗作業。

因此，如何訓練無人機決策模型以提升無人機的作戰場景適應能力，以及實現無人機進行動作決策與動作執行的自主化、智能化，是本領域技術人員正在研究的熱門課題。

發明內容

本申請提供一種無人機決策模型訓練方法、使用方法、設備及介質，旨在通過訓練無人機決策模型并使用該決策模型提升無人機的適應能力，以及實現無人機進行動作決策與動作執行的自主化、智能化。

第一方面，本申請提供了一種無人機決策模型訓練方法，包括：

向第一無人機發送初始化指令，以使第一無人機根據初始化指令采集第一無人機的第一態勢信息與第二無人機的第二態勢信息；

獲取第一態勢信息與第二態勢信息，并根據第一態勢信息與第二態勢信息生成第一融合信息；

將第一融合信息輸入待訓練模型的評估層網絡，評估層網絡基于預設的第一策略生成與第一融合信息對應的分值期望；

待訓練模型的決策層網絡根據分值期望生成第二策略，并基于第二策略生成與第一融合信息對應的第一動作指令；

向第一無人機發送第一動作指令，以使第一無人機根據第一動作指令執行第一動作并在執行第一動作后采集第一無人機的第三態勢信息以及第二無人機的第四態勢信息；

獲取第一無人機采集的第三態勢信息與第四態勢信息，并根據第三態勢信息與第四態勢信息生成第二融合信息；

將第二融合信息輸入評估層網絡以更新第一策略，直至待訓練模型訓練完成，得到無人機決策模型。

可選的，將第二融合信息輸入評估層網絡以更新第一策略之后，還包括：

將第二融合信息輸入評估層網絡，評估層網絡基于更新后的第一策略生成與第二融合信息對應的優化期望；

決策層網絡根據優化期望更新第二策略，并基于更新后的第二策略生成與第二融合信息對應的第二動作指令；

向第一無人機發送第二動作指令，以使第一無人機根據第二動作指令執行第二動作并在執行第二動作后采集第一無人機的第五態勢信息以及第二無人機的第六態勢信息；

獲取第一無人機采集的第五態勢信息與第六態勢信息，并根據第五態勢信息與第六態勢信息生成第三融合信息；

將第三融合信息輸入評估層網絡以更新第一策略。

可選的，獲取第一態勢信息與第二態勢信息，并根據第一態勢信息與第二態勢信息生成第一融合信息，包括：