[發明專利]一種基于深度學習的車載視頻目標檢測方法

有效

• 申請號: 201910185300.4
• 申請日: 2019-03-12
• 公開（公告）號: CN109977812B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 張登銀;金天宇;丁飛;趙莎莎;劉錦;薛睿;聶涵;王雪純
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V20/40;G06V10/44;G06V10/774;G06V10/764
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于深度學習的車載視頻目標檢測方法，利用改進的Faster R?CNN算法實現復雜交通環境中的目標檢測，提供行車安全輔助功能?，F有的目標跟蹤算法存在嚴重的小目標漏檢問題，本發明通過增加一個深度信息通道，將其與原有的彩色圖像通道并聯，并在通道維度上進行融合，在融合后的特征圖像上進行候選框提取和目標檢測，提高小目標的檢測率，另外在訓練中添加對難樣本的訓練，提高算法整體的目標識別率。本發明能夠充分考慮Faster R?CNN算法存在的小目標漏檢問題，通過深度圖像特征融合和難樣本挖掘方法，提高復雜交通場景中車輛識別的準確率。

技術領域

本發明涉及一種基于深度學習的車載視頻目標檢測方法，屬于視頻圖像處理技術領域。

背景技術

在行車過程中，對車輛前方的車輛、行人及其他障礙物進行目標檢測與跟蹤，并在此基礎上進行前車的行為分析，是行車安全輔助系統的基礎。傳統目標檢測方法的主要步驟一般為：提取目標特征，訓練對應的分類器，滑動窗口搜索，重復和誤報過濾。這種目標檢測的滑窗選擇策略沒有針對性，時間復雜度高，窗口冗余，且手工設計的特征魯棒性較差，分類器不可靠；同時現有的目標檢測算法不能夠靈活地訓練數據以根據不同需求學習有效的特征完成具體的檢測任務。

發明內容

本發明的目的在于解決以上現有技術的不足，提供一種基于深度學習的車載視頻目標檢測方法。

為了實現上述目標，本發明采用如下的技術方案：

一種基于深度學習的車載視頻目標檢測方法，包括如下步驟：

步驟1)將深度坐標下的像素對齊到彩色坐標下；再將深度圖像和彩色圖像各自通過CNN進行特征提取，并將各自卷積層輸出的特征圖在通道維度上進行串聯融合得到最終的RGB-D特征作為卷積后的卷積特征映射；

步驟2)構建區域建議網絡RPN，所述區域建議網絡RPN包括一個3×3的卷積層和兩個1×1的并行卷積層；將融合后的卷積特征映射輸入3×3的卷積層，在輸入的特征映射上以像素為單位滑動預設大小的網絡，則每個滑動位置產生特定尺度的錨點；

將產生的錨點輸入兩個1×1的并行卷積層進行位置回歸和前后景判斷，分別輸出錨點的前后景置信度和所有候選框位置并按照預設條件從所得的矩形后選框中篩選出前景置信度最高的前特定數量的區域，得到最終的區域建議集合C；

構建Fast R-CNN模型，所述Fast R-CNN模型由兩個ROI池化層、一個全連接層和兩個并聯的全連接層組成，分別輸出該區域的置信度以及邊框回歸之后的候選框位置；將融合后的卷積特征輸入Fast R-CNN模型，輸出圖像中目標的位置及其類別和置信度；

步驟3)：構建訓練RPN網絡的代價函數和訓練Fast R-CNN網絡的代價函數；

步驟4)使用標準的ZF模型訓練和微調網絡的各項參數，通過從設定的標準方差的零均值高斯分布中提取權重來隨機初始化所有新層；

步驟5)利用反向傳播算法和隨機梯度下降算法，采用對RPN和Fast R-CNN兩個網絡交替訓練的方式對模型進行訓練，根據預先設置的參數依次調整每層神經網絡的權值；

步驟6)使用預先獲得的訓練集測試初步訓練好的Faster R-CNN模型，根據難樣本的判別公式篩選出難樣本；

步驟7)將步驟6)中產生的難樣本加入訓練集中，對網絡再次進行訓練，重復步驟5)-步驟7)，最終得到最優的Faster R-CNN模型；

步驟8)對實際中采集的車載視頻圖像進行處理，輸入訓練好的Faster R-CNN模型中，輸出該圖像中目標類別、置信度以及目標位置。

本發明所達到的有益效果：