[發明專利]一種基于強化學習的仿人智能控制的避障控制方法

在審

• 申請號: 201811307916.6
• 申請日: 2018-11-05
• 公開（公告）號: CN109212973A
• 公開（公告）日: 2019-01-15
• 發明（設計）人: 郟東耀;周佳琳;呂丹丹
• 申請（專利權）人: 北京交通大學
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05D1/02
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

本發明涉及一種基于強化學習的仿人智能控制的避障控制方法，包括以下步驟：S1、車輛判斷與障礙物的距離，當車輛前方感興趣區域內出現障礙物時，判定二者距離d與安全距離S的關系，若d＜S，車輛無法實現有效避障，停車；若d≥S，且車輛與障礙物存在相對速度時，則實施避障；如若d≥S，且相對速度為零時，車輛按原路線行駛；S2、車輛避障學習：計算車輛避障轉彎半徑和加速度；S3、車輛自主避障：車輛在線學習后利用記憶功能，調用駕車經驗進行自主避障。對于各種狀況的道路，本發明提出的避障控制方法均具有較高的避障率，具有較好的實用性和發展潛力。

技術領域

本發明涉及自動駕駛領域，具體涉及一種基于強化學習的仿人智能控制的避障控制方法。

背景技術

隨著小型智能車的普及，人們在短距離出行方面有了更多的選擇，同時智能車在一些特殊場合的應用也發揮了愈發重要的作用，如在反恐、巡查等特殊任務中的執行協助，因而針對狹窄復雜路面的輔助避障駕駛技術研究越發受到青睞。縱觀國內外關于智能車的研究多偏向無人駕駛汽車，無人駕駛汽車具有依托于多傳感器技術的高成本及主要于規則道路行駛的應用局限性，因而其核心技術并不完全適用于小型智能車。

在過去的幾十年里，研究者提出很多避障方法，比如SS.GE等人改進了傳統人工勢場法中的引力函數和斥力函數，把障礙物與機器人的相對速度參數加入到了函數中，實現了移動機器人的有效避障，但是運動過程中被控對象很可能陷入局部極點而不能到達原規劃可行路徑中的目標點，且計算復雜度非常高，很難滿足實時性要求；此外，反應式避障法在靜態環境中有較好的效果，但在動態環境中不適合。

目前關于智能車自主避障控制的研究，主要分成應用于靜態條件的傳統算法和動態場景的智能算法兩大類，這些方法所做出的避障決策對于周遭環境變化快速的狹窄復雜路面還不能完全達到實時快速的自主避障效果。

發明內容

針對上述技術問題，本發明公開了一種基于強化學習的仿人智能控制的避障控制方法，采用如下技術方案，其包括以下步驟：

S1、車輛判斷與障礙物的距離，當車輛前方感興趣區域內出現障礙物時，判定二者距離d與安全距離S的關系，若d<S，車輛無法實現有效避障，停車；若d≥S，且車輛與障礙物存在相對速度時，則實施避障；如若d≥S，且相對速度為零時，車輛按原路線行駛；

S2、車輛避障學習：計算車輛避障轉彎半徑和加速度；

S3、車輛自主避障：車輛在線學習后利用記憶功能，調用駕車經驗進行自主避障。

進一步，車輛與障礙物的安全距離是:

其中a表示車輛加速度，v_a表示障礙物速度，v_r為車輛與障礙物相對速度，r為車輛避障時對應的車輪的轉彎半徑，y_p、y_p'分別為兩個障礙物頂點p、p'與車在前進方向y軸上的距離。

進一步，車輛避障轉彎的加速度需滿足：其中g為重量加速度常數，h為車輛重心與地面的垂直距離，d為重心與車體邊緣的水平距離。

進一步，車輛自主避障具體包括：

1)確定目標軌跡，根據車輛自主避障時對性能指標的要求，確定其理想的系統單位階躍響應過程，然后把此過程變換到誤差相平面上，為誤差和誤差變化率的閾值，其將劃分成不同的區域，每個區域表示避障系統處于不同的運動控制狀態，設計理想的誤差軌跡，然后把這條理想的誤差軌跡當做HSIC控制器進行設計的目標軌跡，也即HSIC特征模型和控制、校正模態的目標軌跡；目標軌跡就是將理想避障規劃軌跡的轉彎半徑和加速度參數和車輛實際行駛過程中避障轉彎半徑和加速度的差值及其閾值投影至相空間，并選取平面中投影曲線中的一條；