[發明專利]一種依托強化學習的鉸接車軌跡跟蹤控制方法及裝置

有效

• 申請號: 202310572466.8
• 申請日: 2023-05-22
• 公開（公告）號: CN116300977B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 段京良;陳良發;劉童;肖禮明;閆昊琪;高路路;馬飛
• 申請（專利權）人: 北京科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明公開了一種依托強化學習的鉸接車軌跡跟蹤控制方法及裝置，涉及自動駕駛技術領域。包括：獲取待控制鉸接車的車輛狀態以及環境觀測量；將車輛狀態以及環境觀測量輸入到構建好的鉸接車軌跡跟蹤最優控制模型；根據車輛狀態、環境觀測量以及鉸接車軌跡跟蹤最優控制模型，得到每個時間步的車輛狀態，實現鉸接車軌跡跟蹤控制。本發明提供了一種依托強化學習的鉸接車軌跡跟蹤控制方法的構建及求解方法，以實現鉸接車軌跡跟蹤控制高實時、高精度的在線計算。

技術領域

本發明涉及自動駕駛技術領域，尤其涉及一種依托強化學習的鉸接車軌跡跟蹤控制方法及裝置。

背景技術

鉸接車是一種在礦山、山地等惡劣地形環境中有著廣泛應用的車輛，其前后車體通過鉸接點與擺動環連接，并依靠液壓缸的伸縮來實現車體航向角的改變。相較于一般的輪式車輛，鉸接車具有轉彎半徑小、通過性強以及使用成本低的優點。然而，鉸接車由于特殊的車體結構，導致其運動學特性相較于一般輪式車輛更為復雜，無人駕駛實現難度更大。因此，實現鉸接車自動駕駛對于降低企業生產成本、減少生產安全事故以及提高生產效率等方面有著巨大的潛力。其中，運動控制作為鉸接車自動駕駛的核心技術之一，近年來隨著人工智能技術的不斷發展，學習型的自主決控方法在自動駕駛領域得到了廣泛的應用。

自動駕駛領域的運動控制主要分為縱向以及橫向控制?？v向控制主要是針對車輛油門以及剎車的控制，相對技術比較成熟，而橫向控制是給出控制量來控制車輛方向盤朝著一定的參考軌跡逼近，以實現軌跡跟蹤的目的。現有的運動控制方法主要存在以下缺陷：一方面：一些典型的控制方法如比例-積分-微分控制PID（Proportional-Integral-Derivative，比例-積分-微分控制）、線性二次調節控制LQR(Linear?QuadraticRegulator，線性二次調節控制)等，雖然結構簡單，但是無法處理復雜的系統約束或者由于忽略了系統的非線性特性，因而在實際應用中往往難以達到理想的跟蹤效果。另一方面：對于預測型運動控制方法，車載控制器需要基于預測模型及約束條件，在線求解每一采樣周期的最優控制序列。當求解難度增加以及車載計算資源不足時，求解的速度難以滿足控制器的控制實時性要求。此外，對于預測型軌跡跟蹤方法，參考軌跡點的信息通常難以獲取，在跟蹤復雜軌跡時難以保證被控對象能以期望速度準確跟蹤參考軌跡。

發明內容

本發明針對現有運動控制方法無法處理復雜的系統約束或者由于忽略了系統的非線性特性，因而在實際應用中往往難以達到理想的跟蹤效果的問題，當求解難度增加以及車載計算資源不足時，求解的速度難以滿足控制器的控制實時性要求的問題，以及參考軌跡點的信息通常難以獲取，在跟蹤復雜軌跡時難以保證被控對象能以期望速度準確跟蹤參考軌跡的問題，提出了本發明。

為解決上述技術問題，本發明提供如下技術方案：

一方面，本發明提供了一種依托強化學習的鉸接車軌跡跟蹤控制方法，該方法由電子設備實現，該方法包括：

S1、獲取待控制鉸接車的車輛狀態以及環境觀測量。

S2、將車輛狀態以及環境觀測量輸入到構建好的鉸接車軌跡跟蹤最優控制模型。

S3、根據車輛狀態、環境觀測量以及鉸接車軌跡跟蹤最優控制模型，得到每個時間步的車輛狀態，實現鉸接車軌跡跟蹤控制。

可選地，S2中的鉸接車軌跡跟蹤最優控制模型的構建過程包括：

S21、獲取預設的初始條件以及初始化參數。

S22、根據初始條件以及初始化參數，得到預測時域內各參考點的橫坐標。

S23、以 t時刻自車位置為原點建立自車坐標系，基于鉸接車離散時間運動學方程以及 t時刻策略輸出的動作，獲取 t+1時刻的自車狀態量。