[發明專利]基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統及其方法

有效

• 申請號: 201910745324.0
• 申請日: 2019-08-13
• 公開（公告）號: CN110481635B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 單云霄;鄭柏立;陳龍
• 申請（專利權）人: 中山大學
• 主分類號: B62D6/00
• 分類號: B62D6/00;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統及其方法。本發明使用端到端神經網絡中的VGG類型網絡與傳統的幾何轉向控制器中的Pure Pursuit控制器融合形成全新的神經網絡結構，同時，在該神經網絡中加入了圖像數據預處理與Pure Pursuit控制器轉角向量提取的過程。這種通過融合端到端神經網絡框架與位置信息和運動模型信息而形成的轉向模型只需使用較小規模、較少數駕駛場景的訓練數據集，即可適應較多數駕駛場景，降低了對訓練數據集的要求，提高了訓練的效率、模型的普適性和魯棒性。同時，除了能適應多駕駛場景以外，其也能很好地抑制定位數據噪聲。

技術領域

本發明涉及自動駕駛技術領域，更具體地，涉及一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統及其方法。

背景技術

在現代自動駕駛系統的各項技術組成中，通過控制自動駕駛汽車的轉向以實現對目標路徑進行跟蹤的路徑跟蹤技術是自動駕駛領域必不可少的技術部分。目前的自動駕駛平臺，大多采用傳統的轉向控制器來進行路徑跟蹤或者僅僅使用神經網絡以構造從視覺攝像頭獲取的圖像數據到轉向指令的映射關系，從而控制車輛轉向來達到路徑跟蹤的目的。

然而，傳統的轉向控制器依賴于足夠精確的定位信息，不具備足夠的魯棒性，如，在城市等交通環境復雜的場景下，GPS信號經過多次反射或被建筑物遮擋，導致定位數據出現較大誤差，進而，傳統的轉向控制器有時會輸出錯誤的轉向指令。對于依賴視覺感知的行為反射法，雖然視覺攝像頭具有低成本的優勢，但其易受光學環境影響的缺點使其感知數據不可靠，從而導致這些方法很難適應多變的駕駛場景。依靠單一的技術往往難以適應自動駕駛領域復雜多變的應用場景，需要融合多種技術以適應多種情景。

發明內容

本發明為克服上述現有技術中的缺陷，提供一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統及其方法，提高了訓練的效率、模型的普適性和魯棒性，且能適應多駕駛場景。

為解決上述技術問題，本發明采用的技術方案是：一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統，包括圖像數據增強模塊、傳統幾何控制器的轉向角提取模塊、模型訓練模塊，其中，

圖像數據增強模塊基于前視攝像頭拍攝的圖像序列，用于首先去除每幀圖像中地平線上方的大部分天空的影響，然后降低圖像的分辨，繼而水平翻轉該圖像，最后隨機旋轉該圖像到一定的角度；

傳統幾何控制器的轉向角提取模塊基于待跟蹤路徑，用于尋找自動駕駛汽車當前位置與待跟蹤路徑上若干個路徑點的幾何關系，根據幾何關系提取出轉向角向量；

模型訓練模塊是基于經過圖像數據增強和傳統幾何控制器的轉向角提取后得到的數據，用于最小化來自該模型的轉向角輸出和自動駕駛儀或人類駕駛員的轉向角控制量之間的誤差。

進一步的，所述的傳統幾何控制器的轉向角提取模塊中采用的卷積神經網絡是具有VGGNet結構特征的卷積神經網絡，為Udacity Challenge的CNN模型，所述的傳統幾何控制器為Pure Pursuit控制器。

進一步的，在所述的傳統幾何控制器的轉向角提取模塊中使用Udacity Challeng中的CNN模型與傳統的幾何轉向控制器中的Pure Pursuit控制器融合后形成新型神經網絡結構，該新型神經網絡結構除了有圖像數據輸入外，還有一個輸入是經過Pure Pursuit控制器處理后的數據。

本發明還提供一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向方法，包括以下步驟：

S1.對圖像數據進行增強處理前，首先裁剪部分像素以去除地平線上方的大部分天空的影響；

S2.將處理后的圖像進行降低分別率處理以加速訓練過程；降低后的分別率可優選128×128；