[發明專利]基于增強學習和多傳感器融合的自動駕駛系統

有效

• 申請號: 201711317899.X
• 申請日: 2017-12-12
• 公開（公告）號: CN108196535B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 陳小琴;王猛;孫輝;張偉
• 申請（專利權）人: 清華大學蘇州汽車研究院（吳江）
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;丁浩秋

本發明公開了一種基于增強學習和多傳感器融合的自動駕駛系統，包括：感知系統、控制系統和執行系統。感知系統通過深度學習網絡，高效處理激光雷達、攝像頭及GPS導航儀實現實時識別行車周圍車輛、行人、車道線、交通標志及信號燈的識別及理解，通過增強學習技術將激光雷達與全景影像匹配融合，形成實時三維街景地圖，及可行駛區域的判斷，結合GPS導航器實現實時導航，控制系統采用增強學習網絡處理感知系統收集的信息，對周圍車輛的人、車物進行預測，根據車身狀態數據，并與駕駛員動作的記錄進行配對，做出當下最優的行動選擇，通過執行系統完成執行動作。本發明對激光雷達數據和視頻進行融合，進行可行駛區域識別和目的路徑最優規劃。

技術領域

本發明屬于人工智能及自動駕駛技術領域，具體地涉及一種基于增強學習和多傳感器融合的自動駕駛系統。

背景技術

自動駕駛技術受到世界汽車企業、互聯網企業以及各高校研究機構的重視，各方積極推進自動駕駛的發展。奔馳、奧迪為代表的汽車企業通過應用超聲波、雷達、夜視儀、立體攝影機、LED等先進技術，實現人車交互、車車交互及車路協同。然而國內在自動駕駛領域起步較晚，突破性成果較少，需要不斷創新，結合新技術，在自動駕駛領域努力突破。

自動駕駛汽車應一套完整的感知系統、代替駕駛人的感知、提供周圍環境信息，感知系統需要不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛基礎。因此，需要多種傳感器融合，多角度、多方位感受車輛周圍環境。由此產生大量數據需要及時處理，因此，自動駕駛系統應有一套集成智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，指定駕駛指令、規劃行駛路徑。本發明因此而來。

發明內容

為了解決上述存在的技術問題，本發明提供了一種基于增強學習和多傳感器融合的自動駕駛系統，采用專業司機的經驗數據訓練增強學習網絡模型，處理來自感知系統的環境信息，對激光雷達數據和視頻進行融合，進行可行駛區域識別和目的路徑最優規劃。

本發明的技術方案是：

一種基于增強學習和多傳感器融合的自動駕駛系統，包括：感知系統、控制系統和執行系統，所述感知系統通過深度學習網絡處理激光雷達、圖像采集模塊及GPS導航儀的數據，實時識別車輛周圍的車輛、行人、車道線、交通標志及信號燈的識別及理解，將激光雷達數據與圖像進行匹配融合，形成實時三維街景地圖，并判斷可行駛區域；

所述控制系統采用增強學習網絡處理感知系統收集的信息，對車輛周圍的人、車、物進行預測，根據車身狀態數據與駕駛員動作的記錄進行配對，作出行動選擇；

所述執行系統根據控制系統的指令執行相應操作，并將操作結果反饋給控制系統。

優選的，所述感知系統利用卷積神經網絡訓練圖片樣本，每一個網絡層都被訓練到局部提取一個由先前網絡層產生的車輛、行人、車道線、交通信號燈和交通標志的特征點的子集，每一層都預測了明確的幾何約束修正當前網絡層的輸入，通過由粗到精級聯和幾何優化的組合，實時定位識別車輛周圍的車輛、行人、車道線、交通標志及信號燈的識別及理解。

優選的，所述感知系統形成實時三維街景地圖，并判斷可行駛區域的方法包括：

采用PointNet網絡構架的多層感知機提取激光雷達獲取的三維點云數據的特征點，進一部獲得特征物體的輪廓線，將輪廓線進行拼接，構建物體模型；

對圖像采集模塊采集的圖像制作圖片物體輪廓特征標簽；

將激光雷達獲得特征物體輪廓與圖片標簽作為輸入，通過卷積神經網絡將二者特征輪廓進行匹配，輸出物體模型的彩色紋理信息；

以同樣視場角采集激光雷達數據和視頻圖像，將激光雷達數據轉變為激光雷達深度圖，通過單幀射線遍歷，形成可行駛區域邊界，在視頻圖像上的相同位置以色彩標出該可行駛區域邊界，對車輛周圍障礙物分析，使用隨機場優化算法，通過多次迭代逼近真實圖像邊界實現可行駛區域檢測。