[發明專利]基于高斯過程近似模型的小車上山系統自適應控制方法

有效

• 申請號: 201910823151.X
• 申請日: 2019-09-02
• 公開（公告）號: CN110531620B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 鐘珊;陳雪梅;應文豪;伏玉琛;龔聲蓉;錢振江
• 申請（專利權）人: 常熟理工學院
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張俊范

本發明公開了一種基于高斯過程近似模型的小車上山系統自適應控制方法，通過物理系統模擬器產生的在線樣本來學習值函數和策略，在此過程中，利用這些在線樣本同時學習一個基于高斯過程的環境動態性模型。在該環境動態性模型的精度滿足一定精度時，能利用該基于高斯過程的模型進行離線的規劃，與在線學習一起共同促進算法的收斂。本發明方法可更快地獲取小車上山系統的最優控制方法。

技術領域

本發明涉及一種物理系統自適應控制方法，特別是涉及一種基于高斯過程近似模型的小車上山系統自適應控制方法。

背景技術

小車上山系統如圖1所示，小車位于兩座山的坡底，小車的目標是右邊山頭的五角星處。但是小車由于動力不足，無法直接通過油門加速來達到目的地，只能通過先到左邊，讓小車有足夠的向前的慣性，再加上足夠的加速度，讓小車達到右邊的目的地。對該系統的自適應控制即是控制任意時間步的小車加速度使小車在最短時間內到達右邊。這個控制問題是連續狀態或連續動作空間的最優控制問題。物理系統的控制問題通常可以建模為馬爾科夫決策問題，即將物理系統中所有可能的狀態建模為狀態空間，將其所有可能發生的動作建模為動作空間，將在當前狀態下施加某動作后達到的下一個狀態的概率分布建模為遷移函數，將當前狀態下采用某動作后得到的環境反饋稱作獎賞函數。

在將物理系統建模為MDP模型后，就可以采用強化學習方法來求解最優策略，即獲得物理系統的最優控制方法。強化學習方法可以分為兩類：模型無關的方法和基于模型的方法。模型無關的方法通過學習通過agent與環境的交互的來獲得樣本，從而學習值函數和策略。該方法簡單快捷，但是該方法僅利用樣本學習值函數和策略，在樣本利用完一次后就將其拋棄，因此，對樣本的利用率極低；基于模型的方法則可以通過動態性模型進行規劃來學習值函數和策略，無需真實樣本的參與，因此，該方法具有較高的樣本利用效率，其缺點是需要通過不斷迭代貝爾曼方程，來獲得問題的最優解，從而使得基于模型的方法具有較高的計算復雜度。

在大部分實際的物理系統中，模型是未知的。如果想利用模型規劃的優點就必須先學習一個模型，然后再利用該模型來進行規劃。然而，大部分的物理系統是連續而非離散的，即使模型已知，也無法直接用于貝爾曼方程迭代求解。同時，當學習的模型不夠精確時會直接影響到規劃的質量。

發明內容

本發明的目的是提供一種基于高斯過程近似模型的小車上山系統自適應控制方法，通過物理系統模擬器產生的在線樣本來學習值函數和策略，在此過程中，利用這些在線樣本同時學習一個基于高斯過程的環境動態性模型。在該環境動態性模型的精度滿足一定精度時，利用該模型進行規劃來產生模擬樣本，與在線樣本一起共同學習值函數和策略，從而促進算法的收斂，更快地獲得系統的最優控制方法。

本發明的技術方案是這樣的：一種基于高斯過程近似模型的小車上山系統自適應控制方法，包括以下步驟：

步驟(1)初始化模型，設置環境的狀態空間X和動作空間U，狀態采用二維向量 x＝(w,v)∈X來表示，w為小車在水平方向的位置，v為小車在水平方向的速度，小車可以執行的動作為加速度u∈U；高斯過程近似模型即狀態遷移函數中的臨時變量為向量變量d＝0、變量s＝0和矩陣為狀態x對應特征函數，φ(x,u)為狀態動作對(x,u)的特征函數；

步驟(2)初始化超參數，設置折扣率γ，衰減因子λ，最大情節數E，高斯函數的探索方差σ²，矩陣ΔN_k中對角線上的各個元素σ_i²,1≤i≤k，每個情節所包含的最大時間步 T，值函數和策略的學習率α，當前情節數e＝1，值函數參數向量策略參數向量高斯過程近似模型參數向量規劃最大的次數K；

步驟(3)初始化小車上山系統的狀態空間和動作空間的范圍，初始化控制成功或失敗的條件，當前時間步t＝1，當前狀態x＝x₁；