[發明專利]多無人機隊形變換方法及系統

有效

• 申請號: 202210025528.9
• 申請日: 2022-01-11
• 公開（公告）號: CN114326826B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 邢娜;王月海;尹文杰;邢志強;龐楓騫
• 申請（專利權）人: 北方工業大學
• 主分類號: G05D1/12
• 分類號: G05D1/12
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉芳

本發明涉及一種多無人機隊形變換方法及系統，屬于無人機隊形變換領域。先建立適用于多無人機隊形變換的馬爾科夫決策模型，然后采用深度強化學習計算馬爾科夫決策模型的最優解，在計算過程中，采集其他障礙物的狀態以及動作信息并為其計算注意力分數，分數越高的障礙物無人機本體路徑的影響越大，無人機本體在下一步動作選擇中要關注此障礙并注意躲避，從而有效減小了無人機之間的碰撞發生幾率。

技術領域

本發明涉及無人機隊形變換領域，特別是涉及一種多無人機隊形變換方法及系統。

背景技術

隨著無人機技術以及電子信息技術的發展，無人機的應用越來越智能化，智能移動無人機的一個重要特征是在復雜動態環境下可以進行良好的路徑軌跡規劃實現無人機隊形變換。智能無人機隊形變換是指在搜索區域內給出合理的目標函數，并在一定范圍內找到目標函數的最優解，使無人機進行有序的隊形變換，無人機隊形變換在許多領域有著廣泛的應用，如大型無人機空中表演、無人機基站的區域覆蓋以及無人機救援等。

近期用于無人機隊形變換的主要算法是深度強化學習(Deep?ReinforcementLearning,DRL)算法。DRL是人工智能領域近年來高速發展起來的一個方向，擁有著巨大的潛力，其主要是解決智能體從感知到決策的問題，深度強化學習也為無人機智能編隊變換奠定了理論基礎。

深度強化學習更早的用于路徑規劃的研究，但是早期研究更注重靜態環境中單智能體的路徑規劃，但是隨著應用場景復雜變化，智能體將從孤立的場景擴展成多個智能體共同存在的空間。傳統的無人機隊形變換通常將物體視為靜態障礙物，這導致了智能體預見性低，容易產生不安全或者不自然的行為。為了解決多無人機安全實現智能隊形變換的問題，無人機需要關注其他無人機的動作狀態進行合作規則。基于此，亟需一種能夠關注其他無人機的動作狀態的多無人機隊形變換方法及系統。

發明內容

本發明的目的是提供一種多無人機隊形變換方法及系統，通過增加注意力機制來處理動態環境中信息復雜度高和對其他無人機重要性的評估不準確的問題。

為實現上述目的，本發明提供了如下方案：

一種多無人機隊形變換方法，所述方法包括：

建立適用于多無人機隊形變換的馬爾科夫決策模型；

基于注意力機制以及深度價值網絡算法計算馬爾科夫決策模型的最優解，具體包括：

采集鄰居無人機的狀態動作信息，所述鄰居無人機為與無人機本體相鄰的無人機；

對無人機本體的狀態動作信息以及所述鄰居無人機的狀態動作信息進行預處理，得到所述無人機本體和所述鄰居無人機的聯合狀態特征向量；

根據所述聯合狀態特征向量和所述注意力機制獲得注意得分；

根據所述聯合狀態特征向量和所述注意得分，獲得綜合特征值；

利用所述綜合特征值和無人機本體的狀態獲得狀態價值函數；

利用深度價值網絡算法對所述狀態價值函數進行迭代更新，得到最優狀態價值函數；

根據最優狀態價值函數獲得無人機本體的最優動作選擇，無人機本體的最優動作選擇即為所述馬爾科夫決策模型的最優解。

本發明還提供一種多無人機隊形變換系統，所述系統包括：

模型建立模型，用于針對無人機隊形變換問題建立適用于多無人機隊形變換的馬爾科夫決策模型；

計算模塊，用于基于注意力機制以及深度價值網絡算法計算馬爾科夫決策模型的最優解

其中，所述計算模塊具體包括：

數據采集子模塊，用于采集鄰居無人機的狀態動作信息，所述鄰居無人機為與無人機本體相鄰的無人機；