[發明專利]一種混合策略驅動的無人機模型預測控制方法

在審

• 申請號: 202211296624.3
• 申請日: 2022-10-21
• 公開（公告）號: CN115480487A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 王鋼;馮肇晗;肖偉;周子煜;翁博熙;孫健;陳杰
• 申請（專利權）人: 北京理工大學
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05D1/10
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 張麗娜

1.一種混合策略驅動的無人機模型預測控制方法，其特征在于包括以下步驟：

S1，預設一項超參數λ為混合比例系數，根據預設的混合比例系數λ將任務M分解為子任務M1和M2，并設計子任務M1對應的代價函數C₁以及設計子任務M2對應的代價函數C₂，將代價函數C₁,C₂混合為函數C，以C為代價函數設計模型預測控制器，并根據設計的模型預測控制器生成無人機未來的飛行軌跡，再根據生成的飛行軌跡設計預設獎勵函數A；

S2，對預設高斯策略G進行多次獨立重復采樣，得到多個高斯策略G的采樣結果λ^[1]，λ^[2]，…λ^[i]，…λ^[N]，N為采樣次數，i＝1，2，…N，以步驟S1得到的預設獎勵函數A計算預設獎勵函數A對應的獎勵值R(λ^[i])，以R(λ^[i])為參數λ^[i]對應的權重，通過蒙特卡洛期望最大化方法更新高斯策略G的均值μ與方差σ，使高斯策略G的采樣結果λ對應的獎勵R(λ^[i])期望值最大，將更新成功后的高斯策略G的均值μ^*作為策略輸出的混合比例系數λ^*；

S3，在無人機執行任務過程中的任意時刻，將該任意時刻無人機對環境的感知信息e、對自身的狀態估計信息x與該任意時刻高斯策略G的輸出λ^*存入離線數據庫B；

S4，首先預設神經網絡F，然后預設神經網絡F根據無人機對環境的感知信息e與自身狀態估計信息x提供對應的混合比例系數λ′，使用步驟S3中的離線數據庫B中無人機的環境感知信息e與自身狀態估計信息x為數據樣本，對應的高斯策略G的輸出λ^*為標簽，對預設神經網絡F進行訓練，使得混合比例系數λ′趨近λ^*，完成混合策略驅動的無人機模型預測控制。

2.根據權利要求1所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

所述的步驟S1中，代價函數C為所述的模型預測控制器的求解優化問題的目標函數，所述模型預測控制器的求解目標為使所述代價函數C的值最小化。

3.根據權利要求1或2所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

所述的將代價函數C₁,C₂混合為函數C的方法為：子任務M1代價函數C₁的值乘以混合比例系數λ，加上子任務M2代價函數C₂的值乘以(1-λ)，其中0≦λ≦1。

4.根據權利要求3所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

所述的步驟S2中，在無人機執行任務過程中的任意時刻t，都需要進行所述的通過蒙特卡洛期望最大化方法更新高斯策略G參數的過程，最終獲得僅在該任意時刻t為局部最優的混合比例系數λ^*。

5.根據權利要求4所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

所述的步驟S3中，無人機對環境感知信息e與對自身的狀態估計信息x的數據維度、類型相同。

6.根據權利要求4或5所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

所述的步驟S4中，在對預設神經網絡F進行訓練時，將環境感知信息e減去自身狀態估計信息x，將所得的差值d作為預設神經網絡F的輸入。

7.根據權利要求6所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

預設神經網絡F的輸入維度與無人機環境感知信息e、無人機自身狀態估計信息x相同，預設神經網絡F的輸出λ′維度為1。

8.根據權利要求1所述的一種混合策略驅動的無人機模型預測控制方法，其特征在于：

在對預設神經網絡F進行訓練過程中，將無人機在執行任務過程中某一時刻對環境的感知信息e、對自身的狀態估計信息x與該時刻高斯策略G經過所述參數更新過程后的輸出混合比例系數λ^*相匹配配置，將混合比例系數λ^*作為對應環境感知信息e、自身狀態估計信息x的標簽。