[發明專利]多無人機隊形變換方法及系統

有效

• 申請號: 202210025528.9
• 申請日: 2022-01-11
• 公開（公告）號: CN114326826B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 邢娜;王月海;尹文杰;邢志強;龐楓騫
• 申請（專利權）人: 北方工業大學
• 主分類號: G05D1/12
• 分類號: G05D1/12
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉芳

1.一種多無人機隊形變換方法，其特征在于，所述方法包括：

建立適用于多無人機隊形變換的馬爾科夫決策模型；所述馬爾科夫決策模型具體包括：

狀態空間：包括無人機本體的狀態，與無人機本體相鄰的其他無人機的狀態，以及無人機本體和其他無人機的聯合狀態；

動作空間：由80個離散的動作組成，所述80個離散的動作包括由[0，2π]平均分成的16個方向以及由[0，v_pref)區間的速度指數分割的5個區間，其中v_pref為最佳速度；

回報函數：

式中，a_t是無人機在隊形變換過程中執行的動作，為無人機本體和其他無人機的聯合狀態值，為無人機本體動作選擇的回報值，d_t為[t-Δt,t]時間段內無人機本體與其他無人機最小分距離，p_g為目標位置；

狀態轉移概率：表示S×A→S_p的轉移概率；P(s_t+1|s_t,a)表示在狀態s_t下采取行動a狀態轉移到s_t+1的概率；

折扣因子：γ∈(0，1)；

基于注意力機制以及深度價值網絡算法計算馬爾科夫決策模型的最優解，具體包括：

采集鄰居無人機的狀態動作信息，所述鄰居無人機為與無人機本體相鄰的無人機；

對無人機本體的狀態動作信息以及所述鄰居無人機的狀態動作信息進行預處理，得到所述無人機本體和所述鄰居無人機的聯合狀態特征向量；

根據所述聯合狀態特征向量和所述注意力機制獲得注意得分；

根據所述聯合狀態特征向量和所述注意得分，獲得綜合特征值；

利用所述綜合特征值和無人機本體的狀態獲得狀態價值函數；

利用深度價值網絡算法對所述狀態價值函數進行迭代更新，得到最優狀態價值函數；

根據最優狀態價值函數獲得無人機本體的最優動作選擇，無人機本體的最優動作選擇即為所述馬爾科夫決策模型的最優解。

2.根據權利要求1所述的方法，其特征在于，所述對無人機本體的狀態動作信息以及所述鄰居無人機的狀態動作信息進行預處理，得到所述無人機本體和所述鄰居無人機的聯合狀態特征向量，具體包括：

構造一個地圖張量；

將所述地圖張量、動態障礙物的狀態以及無人機本體的狀態輸入到第一層多層感知機，得到無人機本體與動態障礙物的第一成對特征向量，所述第一成對特征向量為一個定長向量，所述動態障礙物為與無人機本體相鄰的其他無人機；

將所述第一成對特征向量輸入到第二層多層感知機，獲得無人機本體與動態障礙物的第二成對特征向量，所述第一成對特征向量和所述第二成對特征向量均為聯合狀態特征向量。

3.根據權利要求2所述的方法，其特征在于，所述根據所述聯合狀態特征向量和所述注意力機制獲得注意得分的公式為：

α_i＝ψ_α(e_i,e_m；W_α)

式中，e_i為第一成對特征向量，所述第一成對特征向量為一個定長向量，e_m是與定長向量e_i相同長度的嵌入向量，e_m是通過對e_i-j算術平均獲得的，ψ_α(·)是一個多層感知機，具有ReLU激活函數和權重W_α，α_i是指注意得分。

4.根據權利要求2或3所述的方法，其特征在于，所述根據所述聯合狀態特征向量和所述注意得分，獲得綜合特征值，具體包括：對所述第二成對特征向量和所述注意得分進行加權線性組合，得到綜合特征值。