[發明專利]基于場景切分和局部路徑規劃的駕駛控制策略訓練方法

有效

• 申請號: 202010083122.7
• 申請日: 2020-02-08
• 公開（公告）號: CN111310919B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 俞揚;秦熔均;余峰;劉亞文;范彧
• 申請（專利權）人: 南棲仙策（南京）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F30/20;G06K9/62;G06Q10/04
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開了一種基于場景切分和局部路徑規劃的駕駛控制策略訓練方法，系統以(1)道路場景切分、(2)局部路徑規劃及生成預瞄點用作指示、(3)基于強化學習的多場景自動駕駛控制策略搜索三大部分為特點，提高自動駕駛中策略搜索的效率和策略的魯棒性。

技術領域

本發明涉及一種基于場景切分和局部路徑規劃的駕駛控制策略訓練方法，屬于自動駕駛技術領域。

背景技術

自動駕駛需要保證在盡可能多的場景下都能順利完成任務，其中的任務即從指定的起點安全、順利地達到終點。通常在每個任務中，都有多種道路場景，如直行、左、右轉彎、變道等等?；谝巹t的駕駛控制策略需要在所有場景下合理定義控制規則，且無法處理規則未覆蓋的場景。另一方面，可以利用真實的駕駛員駕駛數據和監督學習方法，得到駕駛控制策略，該途徑則需要人工在多種場景下采集海量的樣本進行訓練，對于未見過的場景，同樣也存在風險。強化學習作為一種有效的策略學習方法，通過在環境中大量試錯，從試錯的交互軌跡經驗中學得控制策略，因此能探索更多未見場景并獲得對應的最優控制策略。為了規避真實場景下不可忽視的試錯代價，通常在自動駕駛模擬器中用強化學習來訓練駕駛策略，然后將策略模型遷移部署到實車進行控制的方式，這可以獲得更加智能的駕駛策略。

使用強化學習來訓練自動駕駛控制策略時，通常以攝像頭、雷達等傳感器的觀測信息及導航信息作為策略輸入，進行橫向和縱向控制，直接求解全程路段的駕駛控制策略難度較大，使用強化學習訓練時需要進行許多額外的探索，導致訓練開銷較大。

發明內容

發明目的：在自動駕駛控制中，為了獲得更加智能的駕駛策略，通常在仿真環境中進行強化學習訓練，來獲得駕駛策略，并進行遷移。為了提高強化學習訓練駕駛策略的效率，節省訓練時間開銷，本發明提出了一種基于場景切分和局部路徑規劃的駕駛控制策略訓練方法，該方法將全路程劃分為多個路段，在每個路段使用局部路徑規劃及預瞄點信息為駕駛提供指示，并在多個路段場景中用強化學習進行訓練，通過將全程任務分解訓練的方式，可以極大提高駕駛策略訓練的效率。

技術方案：一種基于場景切分和局部路徑規劃的駕駛控制策略訓練方法，主要包括道路場景切分、局部路徑規劃、預瞄點生成指示信息、多路段場景駕駛策略搜索部分，其中道路場景切分將具有相近特征的路段劃分為同一個場景，例如小彎道、大彎道、十字路口、直行道等；在每個場景下，根據局部路徑規劃指定該任務下的參考行駛路線，并根據當前的速度及所在路段的特性，計算預瞄距離生成預瞄點，使用預瞄點和當前位置方向信息作為駕駛指令信息；駕駛策略搜索模塊主要使用強化學習算法獲得多場景下的駕駛策略。包括如下步驟：

步驟1，結合地圖信息，利用3D引擎生成自動駕駛仿真環境；

步驟2，根據地圖上可行道路及GPS信息，將區域內所有道路離散化為關鍵點序列，每個點用GPS坐標表示；

步驟3，將每個點空間位置上前后相鄰的點連接成的路徑曲線作為局部路段，并使用機器學習中方法對局部路段劃分到不同集合，每個路段僅屬于某一個集合；

步驟4，在每個路段結合局部GPS信息，使用搜索算法得到局部行駛路徑的關鍵點參考點列，根據當前車況(速度及所在路段)，計算預瞄距離D，并選擇預瞄點，使用預瞄點作為駕駛指示信息；

步驟5，隨機采樣路段場景，結合預瞄點形成的駕駛指示信息，結合當前傳感器的觀測，進行駕駛策略搜索。

其中步驟1、2為前置處理，步驟3、4、5為本發明主要公開技術。通過以上步驟得到的策略，可直接結合局部路徑規劃及指示信息，實現多道路場景下的駕駛控制，即可直接完成全程駕駛任務。

附圖說明

圖1為本發明方法的訓練流程圖。

具體實施方式