[發明專利]一種基于深度強化學習的無人礦卡循跡控制系統及方法

在審

• 申請號: 201911211202.X
• 申請日: 2019-11-29
• 公開（公告）號: CN110879595A
• 公開（公告）日: 2020-03-13
• 發明（設計）人: 唐建林;王飛躍;任良才;艾云峰;楊超;李凌云
• 申請（專利權）人: 江蘇徐工工程機械研究院有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松

本發明提供了一種基于深度強化學習的無人礦卡循跡控制系統及方法，在學習階段下，通過仿真平臺接收環境狀態信息、控制動作信息模擬無人礦卡的循跡過程，采集無人礦卡在預設路線上各個時刻的狀態，將各個時刻的狀態作為輸入量，各個時刻控制動作信息作為輸出量進行深度強化學習訓練，得到算法內核；在應用階段下，獲取無人礦卡當前時刻的狀態和下一時刻的目標狀態至算法內核；基于算法內核預測出當前時刻的控制動作信息。本發明能夠實現無人礦卡運動軌跡的精確控制，可在不同工況、不同工作環境和狀態下按照深度強化學習訓練出來的算法進行自動循跡，具有高度智能化、自我學習、自我適應的特性；提高了礦卡循跡控制的效率，且可以減少燃油消耗量。

技術領域

本發明涉及一種基于深度強化學習的無人礦卡循跡控制系統及方法，屬于自動化控制技術領域。

背景技術

金屬礦山中，礦卡是金屬礦山中的一種重要運輸裝備，大量的礦石、設備、材料、人員依賴礦卡的運輸。礦卡的運行路線固定，運行路線封閉，運行過程易實現程序標準化，實現礦卡的無人駕駛具有客觀基礎。無人礦卡是實現數字礦山的一個重要環節，可以實現最大限度的安全運輸，避免撞車、脫軌、追尾等事故對人員的傷害。無人礦卡運輸系統能深入更危險的地方載運礦石、增強礦山作業的安全性，減少工作意外、降低運行成本，延長輪胎壽命、節省燃油和減少排放，具有巨大的市場潛力。

現有的關于無人礦卡自動控制的研究存在一些問題和局限性：

(1)傳統的控制方法無法應對多變復雜的作業環境，因為礦卡的最佳運動軌跡會受作業面環境的影響而發生變化，指定好的礦卡運動軌跡并不一定是在當前環境下最佳的，在礦卡的循跡過程中無法保證車輛跟蹤的精度，故不具有自我適應、自我學習的特性；

(2)基于傳統的控制方法會加大工作量，如使用PID控制方法需要調整多個增益量，在不同的工況下需要對增益進行調整，使得調節參數變得繁瑣；

(3)一些研究方法中的系統輸入量沒有考慮到動力學量，如果礦卡的執行機構的運動速度很快，就需要考慮動力學量作為系統的輸入以解決慣性因素對執行機構產生的滯后性，而僅僅使用運動學量作為系統輸入量對執行機構進行簡單的位置控制無法實現高效率的自動控制，且會增大燃油消耗量。

發明內容

針對現有技術中存在的無人礦卡高維連續的行為空間和非線性性質而導致的軌跡跟蹤精度低的控制問題，本發明提供了一種基于深度強化學習的無人礦卡循跡控制系統及方法。

一種基于深度強化學習的無人礦卡循跡控制方法，所述方法包括：

在學習階段下，通過仿真平臺接收環境狀態信息、控制動作信息模擬無人礦卡的循跡過程，采集無人礦卡在預設路線上各個時刻的狀態，將各個時刻的狀態作為輸入量，各個時刻控制動作信息作為輸出量進行深度強化學習訓練，得到算法內核；

在應用階段下，獲取無人礦卡當前時刻的狀態和下一時刻的目標狀態至算法內核；

基于算法內核預測出當前時刻的控制動作信息。

作為優選方案，所述算法內核訓練過程如下：

獎勵計算模塊獲取無人礦卡上一時刻的控制動作信息，根據無人礦卡上一時刻的控制動作信息、上一時刻的狀態以及當前時刻的目標狀態計算上一時刻的獎勵信號值；

將無人礦卡上一時刻的狀態、上一時刻的獎勵信號值以及當前時刻的目標狀態組成一個經驗，存儲進經驗數據緩沖區；

更新模塊在經驗數據緩沖區中隨機選出若干個經驗來更新神經網絡的參數，所述神經網絡包括：決策神經網絡、輔助決策神經網絡、評價神經網絡和輔助評價神經網絡；

算法內核確定模塊判斷訓練次數超過閾值后，計算完成的訓練次數中的獎勵信號值的標準差是否小于第一閾值ε，如果標準差小于第一閾值，訓練完成，得到訓練完成的決策神經網絡。