[發明專利]基于群體熵和Q學習的無人機任務分配方法

有效

• 申請號: 202010614975.9
• 申請日: 2020-06-30
• 公開（公告）號: CN111680934B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 方敏;陳燁;羅杰豪;荊銳;楊昊;侯志杰;丁獻碩
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明提出了一種基于群體熵和Q學習的無人機任務分配方法，實現步驟為：初始化參數；根據無人機和任務的位置信息獲取每個無人機的鄰居無人機集合；確定敏感無人機和非敏感無人機；初始化細胞自動機自演化算法參數；獲取演化結果，并采用群體熵去衡量每一輪演化的結果；從中選取最優的群體熵信息并根據該信息初始化Q學習中每個無人機的Q表；然后初始化Q學習參數無人機進行Q學習，最后獲取無人機任務分配結果。本發明采用群體熵作先驗值的方法加速Q學習收斂，并在Q學習過程中充分考慮了全局信息和局部信息，提高算法的學習效率，在保證無人機任務分配結果可靠性的基礎上，提升無人機任務分配的收斂速度。

技術領域

本發明屬于無人機任務分配技術領域，涉及一種無人機任務分配方法，特別涉及一種基于群體熵和Q學習的無人機任務分配方法，可用于無人機探測任務分配。

背景技術

由于無人機價格低，體積小，油耗低，機動性強的特點，無人機任務分配常被應用于環境檢測和地理測繪等場景。無人機任務分配問題可以描述為場景中多個無人機去執行多個任務，每個任務需要無人機提供相應執行量且該執行量隨無人機至任務的距離而衰減，目的是尋找一種有效合理的分配方案將任務分配給不同的無人機，使所有任務均得到其所需執行量。無人機任務分配的難點是隨無人機數量的增長，問題規模成指數型增長，尋找最優結果困難。無人機任務分配主要基于啟發式算法進行求解，典型算法為遺傳算法、蟻群算法、粒子群算法等。

相比于其他算法，粒子群算法具有更好的全局收斂性，例如申請公布號為CN108876086A，名稱為“一種基于粒子群算法的無人機任務分配方法”的專利申請，利用粒子群算法解決無人機任務分配問題。該方法首先設置微粒種群規模、慣性權值、最大允許迭代次數，然后針對每個微粒生成隨機的初始無人機和任務的配對，并計算出目標評價函數，接著找出個體及群體的最優值，更新各個粒子，再根據粒子群優化算法，更新遍歷全部粒子，保留最優微粒。該方法采用整形線性規劃方法構造最優函數，并利用粒子群算法尋找最優解，具有全局收斂能力，所有任務均能得到其所需執行量。該方法的缺點在于，過分尋求全局最優結果，容易陷入局部最優收斂，導致任務分配的收斂速度較慢。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷，提出了一種基于群體熵和Q學習的無人機任務分配方法，旨在保證所有任務均得到其所需執行量基礎上提高任務分配的收斂速度。

為實現上述目的，本發明的技術方案包括如下步驟：

(1)初始化參數：

初始化大小為X×Y×Z的空間區域內的待執行任務集合為Ta＝{ta₁,ta₂,...,ta_i,...ta_m}，無人機集合為A＝{a₁,a₂,...,a_j,...,a_n}，第j個無人機a_j的狀態C_j＝{c_1,j,c_2,j,...,c_i,j,...c_m,j}，其中，ta_i表示第i個任務，m表示任務的總數，m≥2，n表示無人機的總數，n≥1，c_i,j表示a_j對第i個任務的狀態，c_i,j＝0表示不執行，c_i,j＝1表示執行；

(2)確定每個無人機a_j的鄰居：

通過A中各無人機的在空間區域內的位置坐標，計算每個無人機a_j與其他n-1個無人機a_w的距離ds_j,w，并將a_w中ds_j,w小于預設的通信距離L的無人機作為a_j的鄰居，得到a_j的鄰居無人機集合則A的鄰居無人機集合為