[發(fā)明專利]基于增強學(xué)習和多傳感器融合的自動駕駛系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711317899.X
• 申請日: 2017-12-12
• 公開（公告）號: CN108196535B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 陳小琴;王猛;孫輝;張偉
• 申請（專利權(quán)）人: 清華大學(xué)蘇州汽車研究院（吳江）
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 蘇州創(chuàng)元專利商標事務(wù)所有限公司 32103
• 代理人: 范晴;丁浩秋

1.一種基于增強學(xué)習和多傳感器融合的自動駕駛系統(tǒng)，包括：感知系統(tǒng)、控制系統(tǒng)和執(zhí)行系統(tǒng)，其特征在于，所述感知系統(tǒng)通過深度學(xué)習網(wǎng)絡(luò)處理激光雷達、圖像采集模塊及GPS導(dǎo)航儀的數(shù)據(jù)，實時識別車輛周圍的車輛、行人、車道線、交通標志及信號燈的識別及理解，將激光雷達數(shù)據(jù)與圖像進行匹配融合，形成實時三維街景地圖，并判斷可行駛區(qū)域；

所述控制系統(tǒng)采用增強學(xué)習網(wǎng)絡(luò)處理感知系統(tǒng)收集的信息，對車輛周圍的人、車、物進行預(yù)測，根據(jù)車身狀態(tài)數(shù)據(jù)與駕駛員動作的記錄進行配對，通過對駕駛行為的馬爾科夫過程建模，進行基于Q學(xué)習的自動駕駛車輛方向盤轉(zhuǎn)角控制決策，最后將感知信息處理為控制方向盤、油門和剎車等的指令，作出行動選擇；所述控制系統(tǒng)對于由近及遠的目標使用增強學(xué)習網(wǎng)絡(luò)初始化區(qū)域，在線檢測、學(xué)習、跟蹤，對于由遠及近的目標，使用逆序跟蹤方法對檢測目標進行持續(xù)跟蹤，通過距離估算得到車輛和行人的相對速度信息，實現(xiàn)車輛周圍的人、車、物的預(yù)測；

所述執(zhí)行系統(tǒng)根據(jù)控制系統(tǒng)的指令執(zhí)行相應(yīng)操作，并將操作結(jié)果反饋給控制系統(tǒng)；

所述感知系統(tǒng)形成實時三維街景地圖，并判斷可行駛區(qū)域的方法包括：

采用PointNet網(wǎng)絡(luò)構(gòu)架的多層感知機提取激光雷達獲取的三維點云數(shù)據(jù)的特征點，進一部獲得特征物體的輪廓線，將輪廓線進行拼接，構(gòu)建物體模型；

對圖像采集模塊采集的圖像制作圖片物體輪廓特征標簽；

將激光雷達獲得特征物體輪廓與圖片標簽作為輸入，通過卷積神經(jīng)網(wǎng)絡(luò)將二者特征輪廓進行匹配，輸出物體模型的彩色紋理信息；

以同樣視場角采集激光雷達數(shù)據(jù)和視頻圖像，將激光雷達數(shù)據(jù)轉(zhuǎn)變?yōu)榧す饫走_深度圖，通過單幀射線遍歷，形成可行駛區(qū)域邊界，在視頻圖像上的相同位置以色彩標出該可行駛區(qū)域邊界，對車輛周圍障礙物分析，使用隨機場優(yōu)化算法，通過多次迭代逼近真實圖像邊界實現(xiàn)可行駛區(qū)域檢測。

2.根據(jù)權(quán)利要求1所述的基于增強學(xué)習和多傳感器融合的自動駕駛系統(tǒng)，其特征在于，所述感知系統(tǒng)利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖片樣本，每一個網(wǎng)絡(luò)層都被訓(xùn)練到局部提取一個由先前網(wǎng)絡(luò)層產(chǎn)生的車輛、行人、車道線、交通信號燈和交通標志的特征點的子集，每一層都預(yù)測了明確的幾何約束修正當前網(wǎng)絡(luò)層的輸入，通過由粗到精級聯(lián)和幾何優(yōu)化的組合，實時定位識別車輛周圍的車輛、行人、車道線、交通標志及信號燈的識別及理解。