[發明專利]基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統及其方法

有效

• 申請號: 201910745324.0
• 申請日: 2019-08-13
• 公開（公告）號: CN110481635B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 單云霄;鄭柏立;陳龍
• 申請（專利權）人: 中山大學
• 主分類號: B62D6/00
• 分類號: B62D6/00;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統，其特征在于，包括圖像數據增強模塊、傳統幾何控制器的轉向角提取模塊、模型訓練模塊，其中，

圖像數據增強模塊基于前視攝像頭拍攝的圖像序列，用于首先去除每幀圖像中地平線上方的大部分天空的影響，然后降低圖像的分辨，繼而水平翻轉該圖像，最后隨機旋轉該圖像到一定的角度；

傳統幾何控制器的轉向角提取模塊基于待跟蹤路徑，用于尋找自動駕駛汽車當前位置與待跟蹤路徑上若干個路徑點的幾何關系，根據幾何關系提取出轉向角向量；

模型訓練模塊是基于經過圖像數據增強和傳統幾何控制器的轉向角提取后得到的數據，用于最小化來自該模型的轉向角輸出和自動駕駛儀或人類駕駛員的轉向角控制量之間的誤差。

2.根據權利要求1所述的基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統，其特征在于，所述的傳統幾何控制器的轉向角提取模塊中采用的卷積神經網絡是具有VGGNet結構特征的卷積神經網絡，為Udacity Challenge的CNN模型，所述的傳統幾何控制器為Pure Pursuit控制器。

3.根據權利要求2所述的基于卷積神經網絡和傳統幾何控制器的擬人化轉向系統，其特征在于，在所述的傳統幾何控制器的轉向角提取模塊中使用Udacity Challeng中的CNN模型與傳統的幾何轉向控制器中的Pure Pursuit控制器融合后形成新型神經網絡結構，該新型神經網絡結構除了有圖像數據輸入外，還有一個輸入是經過Pure Pursuit控制器處理后的數據。

4.一種基于卷積神經網絡和傳統幾何控制器的擬人化轉向方法，其特征在于，包括以下步驟：

S1.對圖像數據進行增強處理前，首先裁剪部分像素以去除地平線上方的大部分天空的影響；

S2.將處理后的圖像進行降低分別率處理以加速訓練過程；

S3.對于每一幀圖像，隨機決定是否需要進行增強處理，對于需要增強處理的圖像，繼續水平翻轉圖像，接著隨機旋轉后的圖像到一定的角度，至此，完成了圖像數據的增強處理；

S4.設置Pure Pursuit控制器的最小預瞄距離以及最遠預瞄距離，設置選取的路徑點個數；

S5.Pure Pursuit控制器依據給定的路徑點數據集和車輛的定位信息提取車輛前輪的轉向角向量；

S6.使用Udacity Challeng中的CNN模型與傳統的幾何轉向控制器中的Pure Pursuit控制器融合后形成新型神經網絡結構，該新型神經網絡結構除了有圖像數據輸入外，還有一個輸入是經過Pure Pursuit控制器處理后的數據；通過該全新的神經網絡結構進行提取轉向角向量；

S7.將經過上述步驟預處理后得到的，包含有圖像、車輛的前輪轉向角數據和PurePursuit控制器提取的車輛前輪轉向角向量的數據，通過全新網絡結構最小化來自全新網絡結構的轉向角輸出和自動駕駛儀或人類駕駛員的轉向角控制量之間的誤差。

5.根據權利要求4所述的基于卷積神經網絡和傳統幾何控制器的擬人化轉向方法，其特征在于，所述的S3步驟中，隨機旋轉的圖像角度為-57°～57°。

6.根據權利要求4所述的基于卷積神經網絡和傳統幾何控制器的擬人化轉向方法，其特征在于，所述的S4步驟中，設置Pure Pursuit控制器的最小預瞄距離為前方1.0～1.5米，最遠預瞄距離為前方20～60米，同時保證選取的路徑點個數為50～150個。

7.根據權利要求6所述的基于卷積神經網絡和傳統幾何控制器的擬人化轉向方法，其特征在于，所述的S5步驟中，用于計算對應的車輛前輪轉向角控制量的計算模型為：

S1，S2，...，S50＝Pure Pursuit(P1，P2，...，P50)

式中，(S1，S2，...，S50)表示對應于50個路徑點(P1，P2，...，P50)的車輛前輪的轉向角向量，即把自動駕駛汽車的定位信息分別與選取的50個路徑點通過Pure Pursuit控制器計算出對應的車輛前輪轉向角控制量，其中，路徑點數據集是車輛的實時定位信息數據的集合。