[發(fā)明專利]基于群體熵和Q學習的無人機任務(wù)分配方法

有效

• 申請?zhí)枺?/td>: 202010614975.9
• 申請日: 2020-06-30
• 公開（公告）號: CN111680934B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 方敏;陳燁;羅杰豪;荊銳;楊昊;侯志杰;丁獻碩
• 申請（專利權(quán)）人: 西安電子科技大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于群體熵和Q學習的無人機任務(wù)分配方法，其特征在于，包括以下步驟：

(1)初始化參數(shù)：

初始化大小為X×Y×Z的空間區(qū)域內(nèi)的待執(zhí)行任務(wù)集合為Ta＝{ta₁,ta₂,...,ta_i,...ta_m}，無人機集合為A＝{a₁,a₂,...,a_j,...,a_n}，第j個無人機a_j的狀態(tài)C_j＝{c_1,j,c_2,j,...,c_i,j,...c_m,j}，其中，ta_i表示第i個任務(wù)，m表示任務(wù)的總數(shù)，m≥2，n表示無人機的總數(shù)，n≥1，c_i,j表示a_j對第i個任務(wù)的狀態(tài)，c_i,j＝0表示不執(zhí)行，c_i,j＝1表示執(zhí)行；

(2)確定每個無人機a_j的鄰居：

通過A中各無人機的在空間區(qū)域內(nèi)的位置坐標，計算每個無人機a_j與其他n-1個無人機a_w的距離ds_j,w，并將a_w中ds_j,w小于預(yù)設(shè)的通信距離L的無人機作為a_j的鄰居，得到a_j的鄰居無人機集合則A的鄰居無人機集合為

NEI＝{Ne¹,Ne²,...,Ne^j,...,Neⁿ}，

其中，表示a_j的第h個鄰居，j_num為a_j的鄰居數(shù)量；

(3)確定敏感無人機和非敏感無人機：

(3a)計算A中每個無人機a_j與Ta中每個待執(zhí)行任務(wù)ta_i之間的距離d_i,j，得到距離集合DD＝{D₁,D₂,...,D_j,...,D_n}，其中D_j表示無人機a_j與Ta中每個待執(zhí)行任務(wù)之間的距離集合，D_j＝{d_1,j,d_2,j,...,d_i,j,...,d_m,j}；

(3b)將A中D_j小于預(yù)設(shè)通信距離L的n*個無人機組成敏感無人機集合將其余n-n^*個無人機組成非敏感無人機集合其中，a_by表示第y個敏感無人機，a_cx表示第x個非敏感無人機，n^**表示非敏感無人機的數(shù)量，n^**＝n-n^*；

(4)每個敏感無人機a_by選擇任務(wù)并執(zhí)行：

每個敏感無人機a_by選擇與Ta中每個待執(zhí)行任務(wù)之間的距離集合D_by中數(shù)值最小的任務(wù)作為當前任務(wù)并執(zhí)行；

(5)初始化細胞自動機自演化算法參數(shù)：

初始化執(zhí)行次數(shù)t，最大執(zhí)行次數(shù)為T，T≥5，最優(yōu)群體熵EB，第t次執(zhí)行中a_cx對所有任務(wù)的狀態(tài)集C_x(t)＝{c_1,x(t),c_2,x(t),...,c_i,x(t),...c_m,x(t)}，其中c_i,x(t)表示第t次執(zhí)行中a_cx對ta_i的狀態(tài)，并令t＝1，c_i,x(t)＝0，EB＝1000；

(6)獲取離散信息熵表LS：

(6a)計算無人機集合A的群體熵值group_entropy：

group_entropy＝E₁²(x)+E₂²(x)+...+E_j²(x)+...+E_n²(x)

其中E_j(x)表示a_j的離散信息熵，p(x_ij)表示a_j執(zhí)行ta_i的概率；

(6b)判斷EB≥group_entropy是否成立，若是，令EB＝group_entropy，并用離散信息熵表LS記錄p(x_ij)，否則EB不變；

(6c)判斷t＝T是否成立，若是，得到離散信息熵表LS，否則，令t＝t+1，并計算a_cx對ta_i的狀態(tài)c_i,x(t)，然后執(zhí)行步驟(6a)，其中c_i,x(t)的計算公式為：

where

其中，λ₁＝1表示a_cx的鄰居中存在執(zhí)行ta_i的敏感無人機，λ₁＝0表示a_cx的鄰居中不存在執(zhí)行ta_i的敏感無人機，λ₂＝1表示a_cx的鄰居中執(zhí)行ta_i的無人機數(shù)量大于門限值Num，λ₂＝0表示a_cx的鄰居中執(zhí)行ta_i的無人機數(shù)量小于等于門限值Num；

(7)利用離散信息熵表LS初始化每個無人機a_j的AQ_j表：

初始化大小為(m+1)×(m)的AQ_j表，并給AQ_j表中每個元素賦值：

其中，b和c分別表示AQ_j表中第b行第c列，p(x_cj)為離散信息熵表LS記錄的值；

(8)獲取無人機任務(wù)分配結(jié)果：

(8a)初始化迭代次數(shù)為k，最大迭代次數(shù)為K，K≥100，Q學習的學習率為α_k，探索判別值為ε_k，折扣率為γ_k，閾值常數(shù)為ε₀，收益最大值為RE，并令k＝1，a_j執(zhí)行一次任務(wù)的執(zhí)行量為無人機a_j執(zhí)行Ta中各任務(wù)的累計執(zhí)行量集合E_j＝{E_1,j,E_2,j,...,E_i,j,...,E_m,j}，Ta中各任務(wù)需要的執(zhí)行量集合E＝{e₁,e₂,...,e_i,...,e_m}，其中1＞α＞0，1＞ε＞0，1＞γ＞0，1＞ε₀＞0，RE≥100，E_i,j表示a_j對ta_i的累計執(zhí)行量，E_i,j＝0，e_i表示ta_i需要的執(zhí)行量，e_i＞0；

(8b)計算a_j對每個任務(wù)ta_s的轉(zhuǎn)移概率得到a_j對Ta的轉(zhuǎn)移概率子集合則A的轉(zhuǎn)移概率集合為其中：

其中δ，β，M為預(yù)設(shè)的調(diào)節(jié)因子；

(8c)將隨機產(chǎn)生n個0到1之間的小數(shù)組成的小數(shù)集合作為A中每個a_j的探索值，并判斷是否成立，若是，執(zhí)行步驟(8d)，否則，執(zhí)行步驟(8e)；

(8d)a_j依據(jù)執(zhí)行Ta中任務(wù)的概率隨機選擇Ta中的ta_s執(zhí)行，得到更新后的a_j的累計執(zhí)行量E_s,j，并執(zhí)行步驟(8f)，其中E_s,j更新公式為：

τ為預(yù)設(shè)常數(shù)，1＞τ＞0；

(8e)a_j依據(jù)累計執(zhí)行量集合E_j和AQ_j表選擇Ta中第π(r)個任務(wù)執(zhí)行，得到更新后的a_j的累計執(zhí)行量E_π(r),j，并執(zhí)行步驟(8f)，其中π(r)的計算和E_π(r),j的更新公式分別為：

(8f)計算由無人機a_j從執(zhí)行任務(wù)ta_r轉(zhuǎn)到執(zhí)行當前任務(wù)ta_z引起的回報值R_j(r,z)：

(8g)a_j利用AQ_j表的更新公式，并通過回報值R_j(r,s)對AQ_j表進行更新，得到更新后的AQ_j表；

(8h)判斷k＝K是否成立，若是，得到無人機任務(wù)分配結(jié)果：RE＝{Re₁,Re₂,...Re_i,...Re_m}，否則，令k＝k+1，對學習率α_k、折扣率γ_k、探索判別值ε_k進行更新，然后執(zhí)行步驟(8b)，其中Re_i表示執(zhí)行第i個任務(wù)的無人機集合，p為執(zhí)行第i個任務(wù)的無人機總數(shù)，α_k和γ_k的更新公式分別為：

η、λ為預(yù)設(shè)的調(diào)節(jié)因子。