[發(fā)明專利]一種基于協(xié)同控制與深度學習的駕駛環(huán)境感知系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201811284773.1
• 申請日: 2018-10-31
• 公開（公告）號: CN109444912B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設計）人: 楊春平;陳明;馬滬敏;張鵬飛;彭真明;彭凌冰;趙學功;張明珠;李偉
• 申請（專利權）人: 電子科技大學
• 主分類號: G01S17/48
• 分類號: G01S17/48;G01S17/58;G01S17/89;G01B11/00;G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06T3/40;G06T7/246
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 何祖斌

1.一種基于協(xié)同控制與深度學習的駕駛環(huán)境感知方法，其特征在于：駕駛環(huán)境感知方法基于一個系統(tǒng)，其系統(tǒng)包括，

激光發(fā)射模塊，用于對監(jiān)控區(qū)域發(fā)射紅外激光束；

激光測距模塊(2)，用于通過接收到的激光對汽車實現(xiàn)測距；

光學接收模塊，用于接收監(jiān)控區(qū)域內的紅外光和可見光；光學接收模塊包括接收天線(6)、分束器(7)、窄帶濾光片(9)、可見光相機(8)和紅外相機(10)，接收天線(6)將光線傳輸給分束器(7)，分束器(7)將光線分別傳輸給可見光相機(8)和窄帶濾光片(9)，窄帶濾光片(9)透過中心波長為905/940/980nm的紅外光并傳輸給紅外相機(10)；

主控制器，用于對激光發(fā)射模塊、光學接收模塊和激光測距模塊(2)實現(xiàn)開關控制，并將傳感器的狀態(tài)反饋給數(shù)據(jù)處理中心；

協(xié)同控制模塊，用于通過VS+LiDAR+GPS多傳感器協(xié)同工作模式、多功能交通監(jiān)控系統(tǒng)同步控制技術和多信息融合與決策技術實現(xiàn)對交通監(jiān)控對象的高精度測距、測速，并將處理結果傳送至數(shù)據(jù)處理中心，同時用于將光學接收模塊采集到的可見光和紅外圖像數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理中心；

數(shù)據(jù)處理中心，用于將主控制器和協(xié)同控制模塊中傳輸?shù)男畔⑼ㄟ^圖像處理算法實現(xiàn)車牌識別、車道識別、測距、測速的監(jiān)控功能；所述圖像處理算法包括核相關濾波算法和基于深度學習的目標分類識別算法；所述激光發(fā)射模塊包括波長為905/940/980nm的連續(xù)波半導體激光器(4)、擴束器以及視場光闌(5)，其中擴束器將激光器擴束實現(xiàn)對所監(jiān)控區(qū)域的全域覆蓋；

方法包括：

激光發(fā)射模塊和激光測距模塊對監(jiān)控區(qū)域進行全覆蓋掃描，并將采集到的測距數(shù)據(jù)集經協(xié)同控制模塊傳給數(shù)據(jù)處理中心處理；

可見光相機(8)和紅外相機(10)同時采集監(jiān)控區(qū)域的可見光數(shù)據(jù)和紅外光數(shù)據(jù)，然后將采集到的數(shù)據(jù)經協(xié)同控制模塊傳給數(shù)據(jù)處理中心處理；

數(shù)據(jù)處理中心利用紅外光數(shù)據(jù)和距離數(shù)據(jù)集生成激光點云，并結合可見光數(shù)據(jù)進行三維重構；

數(shù)據(jù)處理中心利用訓練好的深度學習網絡對目標三維重構數(shù)據(jù)進行分類識別，最后使用核相關濾波法對監(jiān)控區(qū)域內目標的位置進行追蹤；所述深度卷積神經網絡模型訓練的步驟包括：

對目標三維重構數(shù)據(jù)進行預處理；

提取多張目標三維重構數(shù)據(jù)的三維投影視圖，組合并轉化為適合深度卷積神經網絡的輸入形式以作為數(shù)據(jù)集；

對目標三維重構數(shù)據(jù)按照目標類別進行標注，并隨機抽出一半數(shù)據(jù)作為訓練集，剩余數(shù)據(jù)作為測試集；

構建深度卷積神經網絡，輸出概率分布，并采用交叉誤差熵為損失函數(shù)來評估網絡性能，以尋找最優(yōu)權重值；

訓練過程以誤差反向傳播法來計算神經網絡的梯度，用Adam法作為神經網絡的權重值的更新策略，每次訓練采用Dropout法來隨機刪除神經元來抑制過擬合，最終得到駕駛環(huán)境目標感知的神經網絡模型。

2.根據(jù)權利要求1所述的一種基于協(xié)同控制與深度學習的駕駛環(huán)境感知方法，其特征在于，所述構建深度卷積神經網絡步驟中，卷積神經網絡由三層卷積單元、兩個全連接單元和softmax輸出層構成，每個卷積單元包括卷積層、ReLU層和池化層，以提取數(shù)據(jù)的高維特征圖，全連接單元包括仿射變換層和ReLU層，每一層都以前一層的輸出作為當前層的輸入，最后連接softmax層。

3.根據(jù)權利要求1所述的一種基于協(xié)同控制與深度學習的駕駛環(huán)境感知方法，其特征在于，數(shù)據(jù)處理中心利用訓練好的深度學習網絡對目標三維重構數(shù)據(jù)進行分類識別的步驟包括：

將目標三維模型數(shù)據(jù)轉化為適合深度卷積神經網絡模型的數(shù)據(jù)輸入形式；

將轉化后的數(shù)據(jù)輸入深度卷積神經網絡，進行前向傳播計算；

通過softmax層輸出概率分布，排序得到最大概率對應的目標類別，即為識別的目標結果。

4.根據(jù)權利要求1所述的一種基于協(xié)同控制與深度學習的駕駛環(huán)境感知方法，其特征在于，所述三維重構的步驟包括：

導入激光點云數(shù)據(jù)，利用ICP算法進行點云數(shù)據(jù)的拼接；

建立三角格網并進行修補；

利用獲取的可見光數(shù)據(jù)和空間后方交會對可見光數(shù)據(jù)中的圖像點和空間點進行選取，再進行中心投影完成紋理映射，最終得到帶紋理的三維模型。