[發明專利]基于規則約束訓練的無人機集群智能任務執行方法和裝置

有效

• 申請號: 202110029061.0
• 申請日: 2021-01-11
• 公開（公告）號: CN112633415B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 高顯忠;項磊;侯中喜;郭正;賈高偉
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F9/455
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種基于規則約束訓練的無人機集群智能任務執行方法，其特征在于，所述方法包括：

根據預設的無人機集群防御任務訓練數據得到對應的訓練環境數據，以待訓練的無人機集群中的無人機為智能體，基于MADDPG算法建立所述訓練環境數據對應的無人機集群任務執行模型；所述訓練環境數據包括防御對象集合；

根據無人機的任務能力參數、所述訓練環境數據和預設的任務目標數據，得到所述無人機集群任務執行模型中所述智能體的動作集、狀態集和單步獎勵函數；

使用預設的約束規則得到所述智能體從所述動作集中獲取下一步動作時的動作子集，使用所述動作子集、所述狀態集和所述單步獎勵函數訓練所述無人機集群任務執行模型中的所述智能體；其中，所述約束規則是根據所述智能體和防御對象的相對位置數據確定的；

使用訓練好的無人機集群執行無人機集群防御任務；

所述約束規則的定義方式包括：

獲取所述智能體和防御對象的相對距離值，當所述相對距離值持續減小時：

當所述相對距離值在預設的區間內時，獲取使所述智能體最快離開所述防御對象的作用區域的航向角，根據所述航向角得到所述智能體從所述動作集中獲取下一步動作時的動作子集；

或者，當V/dis大于預設值時，將所述智能體的加速度值設置為大于零，當V/dis小于預設值時，將所述智能體的加速度值設置為小于零；其中，V表示所述智能體的速度，dis表示所述相對距離值，V/dis表示所述智能體的速度距離比值；

根據所述加速度值得到所述智能體從所述動作集中獲取下一步動作時的動作子集；

所述單步獎勵函數的獲得方式包括：

獲取所述防御對象集合中預設的威脅值為最高的最大威脅目標，獲取所述智能體和所述最大威脅目標的相對距離值；

根據所述訓練環境數據和無人機的所述任務能力參數，得到所述智能體對所述防御對象的防御效果數據，得到所述防御對象對所述智能體的抵抗效果數據，以及得到所述防御對象對預設的保護區域的攻擊效果數據；

根據所述訓練環境數據得到所述防御對象的航向角，并得到所述防御對象和所述智能體的航向夾角；

根據所述智能體對應的所述相對距離值、所述防御效果數據、所述抵抗效果數據、所述攻擊效果數據和所述航向夾角，得到單步獎勵函數的值；其中，所述單步獎勵函數的值與所述相對距離值、所述防御效果數據和所述航向夾角分別為正相關關系，所述單步獎勵函數的值與所述抵抗效果數據和所述攻擊效果數據分別為負相關關系。

2.根據權利要求1所述的方法，其特征在于，所述根據預設的無人機集群防御任務訓練數據得到對應的訓練環境數據，以待訓練的無人機集群中的無人機為智能體，基于MADDPG算法建立所述訓練環境數據對應的無人機集群任務執行模型的步驟包括：

使用OpenAI仿真環境，根據預設的無人機集群防御任務訓練數據得到對應的訓練環境數據；

使用MADDPG算法將待訓練的無人機集群中的無人機構建為智能體，根據所述智能體和所述訓練環境數據建立對應的無人機集群任務執行模型。

3.根據權利要求2所述的方法，其特征在于，使用所述動作子集、所述狀態集和所述單步獎勵函數訓練所述無人機集群任務執行模型中的所述智能體的過程包括：

根據所述訓練環境數據和所述智能體的當前狀態，得到所述智能體的當前狀態數據；

使用預設的約束規則得到所述智能體從所述動作集中獲取下一步動作時的動作子集，根據所述訓練環境數據得到所述動作子集中的動作對應的所述單步獎勵函數的值；

根據所述智能體獲取到的下一步動作，更新所述訓練環境數據和所述智能體的當前狀態，根據所述單步獎勵函數的值更新所述智能體獲取下一步動作的策略數據。

4.根據權利要求1至3中任意一項所述的方法，其特征在于，所述智能體的狀態集中的狀態包括所述智能體的位置、速度和航向角；其中，位置、速度和航向角的取值范圍均為連續區間。