[發明專利]一種基于強化學習和注意力機制的無人機群調度方法

有效

• 申請號: 202110924902.4
• 申請日: 2021-08-12
• 公開（公告）號: CN113625757B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 江天舒;郭成昊;李秀成;汪亞斌
• 申請（專利權）人: 中國電子科技集團公司第二十八研究所
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 于瀚文;胡建華

本發明提供了一種基于強化學習和注意力機制的無人機群調度方法，包括：步驟1，設置作為編碼器的Transformer的各個超參數，獲取仿真器的狀態；步驟2，將狀態做特征預處理之后送入Transformer編碼器；步驟3，將Transformer編碼器的編碼輸出作為指針網絡解碼器的輸入，通過解碼選出當前狀態下最應該關注的單位；步驟4，神經網絡的多頭輸出結果構造仿真平臺能接受的指令，將其輸入仿真平臺驅動其前進。本發明通過組合注意力機制和強化學習實現了不同狀態下對于無人機群中不同單位的關注，通過神經網絡的多頭輸出實現了對于動作空間的良好分解，這一設計對于無人機群的擴容不敏感。

技術領域

本發明涉及一種基于強化學習和注意力機制的無人機群調度方法。

背景技術

近年來，隨著人工智能技術的迅猛發展，無人機逐步朝著小型化、智能化方向發展,因其成本低、靈活性高、隱蔽性強,被廣泛應用于戰場偵察、應急救援等行動中。鑒于單架無人機在續航能力、廣域偵察搜索等方面的局限性，多架無人機協同組成無人機集群執行任務成為當前無人機作戰應用的重要模式。較之于單架無人機，無人機集群具有明顯的規模優勢、協同優勢等，可有效提高任務完成的可靠性。因此，提升無人機的智能化水平，讓無人機能夠根據環境狀態而自動產生控制指令完成任務中的群體機動是當前主要的研究方向。

讓無人機完成指定任務中的機動自主決策，其實質是完成從空戰態勢到群體動作的映射，在不同狀態下執行相應的群體動作。由于無人機群在調度時面臨的狀態十分復雜，靠人工預編程的方法難以全面覆蓋廣闊的狀態空間，同時也無法計算產生最優的動作決策。

強化學習是一種采用“試錯”的方法與環境交互的學習方法，通過計算當前狀態下執行某個動作后的累計回報的期望值大小來判斷選擇哪個動作能獲得最優效果。而且強化學習智能體與環境交互的學習過程不需要訓練樣本，僅僅需要通過環境的回報值對執行的動作進行評價。將具體實際問題完成在強化學習框架下的實例化需要完成兩方面的工作，首先，需要解決實際問題中動作空間的設計問題，合理的動作空間設計能降低問題的復雜度，提升學習效率，其次，需要給定環境反饋給智能體的回報函數的設計。

注意力機制是一種在自然語言處理和圖像處理領域均取得優異效果的一類方法，普遍認為其能抓住不同狀態表征之間的聯系。在無人機群中，態勢復雜，難以通過預編程的方式決定在什么樣的狀態之下，應該關注哪一架無人機，注意力機制通過一種可學習的方式來在不同階段、不同狀態之下關注不同的飛機，適用用于無人機調度場景中。

發明內容

發明目的：為了解決現有方案效率不夠高的問題，提出了一種基于強化學習和注意力機制的無人機群的調度方法，能夠在不同態勢下關注不同的無人機，并且通過強化學習的方式來對這一機制進行訓練，同時還給出了統一的動作空間分解框架調度無人機群，該框架對于無人機數量的改變不敏感，這增強了代碼的適應性，并大大減輕了人類操縱指控的壓力。

本發明方法包括以下步驟：

步驟1，根據所觀測到的狀態信息的維度，調整Transformer編碼器(一種用于自然語言處理的高效且流行的處理模型)的輸入維度和輸出頭的個數，并給定其他超參數，其他超參數包括編碼層的個數、前饋層的維度和編碼維度，通常來說編碼層的個數設置為6，前饋層維度設置為2048，編碼維度設置為512；

步驟2，收集仿真器給出的關于飛機狀態信息，包括飛機編號id、空間橫坐標x和縱坐標y、是否打開雷達干擾is_radar_on、干擾頻點freq，將收集的信息經過預先編碼后組裝成為Transformer編碼器的狀態輸入S＝(id,x,y,is_radar_on,freq)；

步驟3，將當前Transformer編碼器的輸出送入指針網絡得到解碼結果，解碼結果為基于注意力機制得到的索引，也就是當前狀態下最應該給予關注的目標單位的索引，并將該索引作為第一個輸出頭的結果；