[發明專利]一種基于強化學習的固定翼無人機群集控制方法

有效

• 申請號: 201910832116.4
• 申請日: 2019-09-04
• 公開（公告）號: CN110502033B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 王菖;閆超;相曉嘉;牛軼峰;尹棟;吳立珍;陳紫葉
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清

1.一種基于強化學習的固定翼無人機群集控制方法，其特征在于，包括：

步驟S1、訓練階段：建立隨機無人機動力學模型、執行器深度神經網絡和評價器深度神經網絡，持續采集智能體與環境進行交互的歷史經驗，并存儲到經驗池中；從經驗池中隨機進行批次采樣，不斷更新執行器和評價器的網絡參數，最終形成保存評價器網絡模型；

步驟S2、執行階段：僚機通過傳感器獲取自身位置和姿態信息，載入評價器網絡模型，評價器根據當前系統聯合狀態輸出僚機最佳滾轉動作，長機滾轉角設定值由操控員給出；直至完成飛行任務；

所述步驟S1中包括：

步驟S11、考慮無人機在恒定高度飛行，其動力學模型用簡化的四自由度模型描述；在滾轉、空速各個子狀態引入隨機性，建立隨機無人機動力學模型；

步驟S12、分別建立執行器深度神經網絡和評價器深度神經網絡，將輸入狀態映射到輸出動作和該狀態的累計折扣回報，并隨機初始化網絡參數；

步驟S13、持續采集智能體與環境進行交互的歷史經驗，所述智能體為僚機，并存儲到經驗池中；

步驟S14、從經驗池中隨機進行批次采樣，應用Adam算法不斷更新執行器和評價器的網絡參數；所有樣本均會用于更新評價器網絡的參數，但只有TD誤差為正的樣本才會使執行器的網絡參數發生改變；

步驟S15、當訓練情節數達到預設條件時，結束交互過程，并保存評價器網絡的模型參數；

所述步驟S2中包括：

步驟S21、智能體通過傳感器獲取自身位置和姿態信息，并通過通信鏈路獲取長機的位置和姿態信息，進而組成系統聯合狀態；

步驟S22、載入評價器網絡模型，評價器根據當前系統聯合狀態輸出僚機最佳滾轉動作；長機滾轉角設定值由操控員給出；

步驟S23、長機和僚機的自駕儀根據各自的滾轉角設定值，由PID控制器完成底層閉環控制；

步驟S24、重復上述過程，直至完成飛行任務。

2.根據權利要求1所述的基于強化學習的固定翼無人機群集控制方法，其特征在于，所述步驟S13中，所述歷史經驗為四元組(z_k,a_k,g_k,z_k+1)，其中z_k為當前狀態，a_k為執行動作，g_k為執行動作a_k獲取的回報，z_k+1為執行動作a_k后達到的狀態；所述交互過程為：長機的滾轉動作隨機產生以增加系統的隨機性；智能體獲取長機的狀態信息及自身的狀態信息，組成聯合狀態信息輸入到執行器中，高斯探索策略根據執行器輸出選取僚機的滾轉動作；分別將長機和僚機的滾轉指令輸入隨機無人機動力學模型，得到長機和僚機下一時刻的狀態和回報函數值。

3.根據權利要求1所述的基于強化學習的固定翼無人機群集控制方法，其特征在于，所述建立執行器深度神經網絡，執行器對應動作選擇策略，使用多層感知機將輸入狀態映射到輸出動作；執行器MLP包括1層輸入層、4層隱含層和1層輸出層；隱含層的節點數分別取128、256、256和64；隱含層均使用ReLU激活函數，其表達式為：f(x)＝max(0,x)；輸出層使用tanh激活函數，其表達式為f(x)＝(e^x-e^-x)/(e^x+e^-x)，以保證評價器輸出值在[-1,+1]之間，線性放大后即映射到滾轉動作空間。

4.根據權利要求1所述的基于強化學習的固定翼無人機群集控制方法，其特征在于，所述建立評價器深度神經網絡，評價器對應價值函數，使用MLP將輸入狀態映射到該狀態的累計折扣回報；評價器MLP包括1層輸入層、4層隱含層和1層輸出層；隱含層的節點數分別取128、256、256和64；隱含層均使用ReLU激活函數，其表達式為：f(x)＝max(0,x)；輸出層使用linear激活函數，其表達式為：f(x)＝x。

5.根據權利要求1所述的基于強化學習的固定翼無人機群集控制方法，其特征在于，所述評價器網絡模型運行在僚機機載電腦上，輸出的滾轉指令每隔1s更新一次。