[發明專利]列車自動駕駛系統參數自學習雙Q表聯合代理建立方法

有效

• 申請號: 202110019417.2
• 申請日: 2021-01-07
• 公開（公告）號: CN112733448B
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 羅森林;劉曉雙;秦梟喃;門元昊;周麗華;彭朝陽;柴榮陽
• 申請（專利權）人: 北京理工大學;通號城市軌道交通技術有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/092;B61L27/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種可用于實現列車自動駕駛系統參數自學習的雙Q表聯合代理的建立方法，屬于自動駕駛與強化學習領域。主要用于節省現有自動駕駛系統中關鍵轉換參數需要專家逐車調整所消耗的大量人工工作成本，同時實現轉換參數隨車輛性能變化實時適應。本發明首先建立可正確響應轉換參數改變所引發運行效果變化的運行仿真環境；其次，基于Q?Learning方法，以舒適度和停準率兩個條件為訓練目標，建立兩個參數調整代理分別給出向好的參數調整動作；最后，建立聯合策略，協調兩個參數調整代理相互配合工作，實現對參數的優化。在某地鐵線路實車上實驗，結果表明，本發明能達到良好的參數自學習效果，實現了列車參數的自動優化。

技術領域

本發明涉及一種可用于實現列車自動駕駛系統參數自學習的雙Q表聯合代理的建立方法，屬于自動駕駛與強化學習領域。

背景技術

列車自動駕駛系統(Automatic Train Operation,ATO)是軌道列車自動運行的控制系統，可依據列車控制系統(Automatic Train Control,ATC)或列車自動保護系統(Automatic Train Protection,ATP)等信號系統所提供的數據及信息實時調節列車速度，使列車自動化完成發車、提速、巡航、減速、停靠等過程。ATO可以減少司機的工作量，某種程度上減少人為失誤，同時能盡可能減少牽引、惰行、制動之間的切換頻率，提升運行效率，控制列車進站并精準停車，并提高運行時刻表準確性。

ATO為實現對列車速度的有效控制，常采用多種速度控制方法，其中以策略控速、PID(比例-積分-微分)算法、速度追趕等算法為主，以適應不同階段下列車的控速需求及限制條件。

其中，策略控速的核心思想是，根據當前列車狀態，按照預設的控車策略規則進行速度控制，例如，在列車發車階段，接收到可發車命令后，在限速允許的前提下，直接將控車級位推至最大牽引輸出級位，以最大效率進行列車提速，同理，也可按照一定的切換速度逐漸將控車級位推至最大牽引輸出級位，犧牲效率提升舒適度，直至列車達到巡航速度。

PID算法則為更常見的速度控制算法，列車控速過程中根據階段需求，可能會采用Fuzz PID、PI、PD等變體，其核心思想是根據列車當前實際速度與目標速度的差值、差價積分、差值微分，按比例進行計算后輸出此時最佳的控車級位，目標是減少差值，使列車實際速度盡可能的接近目標速度，例如，在巡航階段，當列車實際速度相比目標巡航速度越來越小時，將輸出牽引級位進行提速，而當速度接近或超過目標巡航速度時，將進行惰行，節能且平穩的進行高速巡航。而具體的輸出級位及切換時機，則根據PID控制器中各個成分的增益進行調定。

速度追趕算法則更適用于處理具有高延時特性且精確度需求較高的速度控制階段，可根據預估的延時時間，預判加速度實際的產生時刻及作用效果，以輸出最佳的控車級位，并每周期循環計算，以精確貼合目標速度曲線。

除上述提到的控速策略外，列車速度控制過程中還采用了其它若干種輔助、備用級位計算算法或策略，以實現復雜環境下列車的穩定控速、效率最大及精確停車等目標。因此，由于會使用到多種控速策略與算法進行聯合工作，策略或算法的切換時機則是使該過程協調有序進行的重點。

現有ATO算法中存在多個上述的策略轉換點，策略轉換點由轉換參數控制。部分轉換參數可進行固化設置，但其余轉換參數則需要根據列車型號、列車性能、線路特性、運行要求等屬性進行車車調整。此類參數的調整目前仍需人工干預，逐輛列車進行優化設置，其優化過程一般為，采用預設轉換參數進行列車運行測試，完成一站或若干站的運行后，根據實際運行情況及速度曲線，判斷轉換參數效果，根據效果調整參數，直至列車運行效果滿足所需。同時，該組轉換參數可能隨著列車性能變化，因此需要定期重調。