[發明專利]一種強化學習的無人機群在未知海域內協同搜索多動態目標方法

有效

• 申請號: 201910346512.6
• 申請日: 2019-04-26
• 公開（公告）號: CN110196605B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 岳偉;關顯赫;劉中常;王麗媛
• 申請（專利權）人: 大連海事大學
• 主分類號: G05D1/12
• 分類號: G05D1/12
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜玉蓉;李洪福

本發明公開了一種強化學習的無人機群在未知海域內協同搜索多動態目標方法，包括以下步驟：S1:采用柵格法對搜索海域進行劃分:根據無人機在一定區域內的信息素濃度建立領地意識信息圖S2:根據無人機狀態信息和決策u(k)設計Q值表；S3:根據無人機群當前狀態的Q值采用Boltzmann分布機制選擇無人機的飛行路線并執行；S4：利用搜索效能函數設計用來評價無人機飛行狀態的獎懲函數，根據獎懲函數對無人機群到達的新狀態的Q值進行更新；S5：將無人機群到達新狀態更新為當前狀態，持續作出飛行路線決策最終完成整個Q值表的學習，無人機群根據訓練好的Q表做出決策，完成搜索任務。

技術領域

本發明涉及無人機控制技術領域，尤其涉及一種強化學習的無人機群在未知海域內協同搜索多動態目標方法。

背景技術

隨著傳感器、無線通信、智能控制等技術的迅猛發展，無人群體系統的功能日益增強，其應用領域不斷擴大。無人群體系統因其可擴展性、強協作性和低損耗性，其協同理論與應用研究受到學術界、工業界和國防領域越來越多的關注，而多UAV協作搜索系統能有效提高搜索效率，尤其是針對存在不確定性、強干擾等復雜海況下動態目標的搜索存在著巨大優勢，因此，多UAV協同海域搜索是無人群體系統研究的重要方向之一。

傳統的搜索方法是采用覆蓋式搜索，例如回字型搜索、遍歷搜索等，這種搜索方式一般以最大化覆蓋任務區域以發現盡可能多的目標，近年來，結合目標存在概率建立搜索圖模型，使用分布式模型預測控制進行求解，有效降低了搜索決策問題的求解規模，但是僅限于靜態目標的搜索。對于動態目標，使用貝葉斯方法計算平均檢測時間和平均檢測概率，但只適用于對海上單個目標的搜索，不能滿足多目標搜索的需求。

發明內容

根據現有技術存在的問題，本發明公開了一種強化學習的無人機群在未知海域內協同搜索多動態目標方法，該方法首先考慮環境、無人機動態、目標動態及傳感器探測模型，建立多UAV海域搜索圖，然后，利用領地意識信息圖的概念對搜索圖進行更新，拓展原有的搜索圖。最后利用強化學習方法，結合搜索效能函數設計獎懲函數，在線生成多UAV協同搜索的路徑。

具體包括以下步驟：

S1:采用柵格法對搜索海域進行劃分:基于海面環境、無人機動態、海面運動船舶動態和傳感器探測模型信息建立多UAV海域搜索圖；根據無人機在一定區域內的信息素濃度建立領地意識信息圖，利用領地意識信息圖拓展多UAV海域搜索圖；

S2:根據無人機狀態信息和決策u(k)設計Q值表；

S3:根據無人機群當前狀態的Q值采用Boltzmann分布機制選擇無人機的飛行路線并執行，當無人機群到達新狀態時根據目標發現收益J_p、環境搜索收益J_χ、執行代價C、碰撞代價I的加權和得到搜索效能函數；

S4：利用搜索效能函數設計用來評價無人機飛行狀態的獎懲函數，根據獎懲函數對無人機群到達的新狀態的Q值進行更新；

S5：將無人機群到達新狀態更新為當前狀態，持續作出飛行路線決策最終完成整個Q值表的學習，無人機群根據訓練好的Q表做出決策，完成搜索任務。

S1中具體采用如下方式：

S11：建立領地意識信息圖：當無人機V_i搜索柵格(m,n)時產生信息素H_i(mn)(k)，該信息素在搜索圖中會向其他柵格處擴散，以柵格(a,b)處為例，其擴散傳播函數為：

其中ρ，β為常量；

當N_v架無人機執行搜索任務時，則有N_v種信息素不斷產生并擴散，以柵格(c,d)為例，當前時刻信息素濃度為上一時刻因揮發留下的信息素濃度與當前新產生的信息素擴散到該柵格濃度的總和，其更新方程為：