[發明專利]基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法

有效

• 申請號: 202011326732.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112487908B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 張文波;劉鐘鍇;王升;王于凱;劉昊東;陳景旭;劉志遠
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/774;G06V10/82;G06V10/764
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐瑩

1.基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，其特征在于，包括以下步驟：

步驟(1)、利用yolo系列的深度神經網絡識別算法對前方車輛進行目標檢測，將基于卡爾曼濾波預測車輛軌跡得到的車輛跟蹤框與當前幀中的檢測框進行關聯，并與目標外觀信息融合，通過級聯匹配以及車輛跟蹤框與檢測框的交集與并集的比值即IOU比值，實現對前方車輛的檢測與追蹤；

步驟(2)、根據車輛跟蹤框與檢測框的IOU比值，將每一幀所使用的所有車輛跟蹤框利用檢測框代替；

步驟(3)、利用輕量級深度學習網絡模型檢測每幀中的車道線，識別出車道線像素點并去除噪點，再利用基于全卷積的圖像分類網絡模型將車道線分為實線與虛線；

步驟(4)、將識別出的車道線像素點擬合成車道線直線方程；

步驟(5)、對每一幀中追蹤到的車輛，在檢測框下邊框上選取兩個位置點(lx,y)和(rx,y),以此兩點判定與車道線直線方程的關系，判定車輛是否處于壓線狀態，并在判定處于壓線狀態時記錄每一幀中車輛的壓線信息，包括每一幀中的車輛id、檢測框的位置、壓線狀態、對應的車道線類型；

步驟(6)、在判定處于壓線狀態時，為碾壓車道線的起始時刻設置判定條件，并將每幀獲取到的車輛壓線信息與之前連續若干幀的該車輛的壓線信息作對比，條件滿足則判定為壓線開始，且記錄開始時刻信息；

步驟(7)、在判定處于壓線狀態時，為碾壓車道線的結束時刻設置判定條件，并對于已經判定為壓線開始的車輛，將每幀獲取到的車輛壓線信息與之前連續若干幀的該車輛的壓線信息作對比，條件滿足則判定為壓線結束，且記錄結束時刻信息；

步驟(8)、將同一輛車的開始和結束時刻信息對比，若車道線類型相同，則合并輸出為一個最終結果，若車道線類型不同，則判斷是兩個壓線事件，并將開始和結束時刻信息整合，輸出為兩個結果。

2.根據權利要求1所述基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，其特征在于，所述步驟(1)利用yolo系列的深度神經網絡識別算法對前方車輛進行目標檢測，具體步驟為：

利用車載視頻構造行車視角下車輛識別訓練用的數據集，運用yolo系列的深度神經網絡識別算法進行訓練，實現在本車視角下對前方車輛進行目標檢測；

利用卡爾曼濾波預測車輛軌跡得到車輛跟蹤框，通過車輛跟蹤框和檢測框之間的馬氏距離對與當前幀中的車輛跟蹤框和檢測框進行運動信息關聯，當某次關聯的馬氏距離小于指定的閾值，則關聯成功；

結合目標外觀信息引入重識別模塊，對每一個檢測框內區域，求一個特征向量，計算車輛跟蹤框成功關聯的特征集與當前幀檢測結果的特征向量間的最小余弦距離，當小于指定的閾值，則關聯成功；

通過不同優先級的級聯匹配，和車輛跟蹤框與檢測框的交集與并集的比值即IOU比值更新每幀信息，實現對車輛的追蹤，獲取每個車輛id。

3.根據權利要求1所述基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，其特征在于，所述步驟(2)根據車輛跟蹤框與檢測框的IOU比值，對于每輛被追蹤到的車，取最大值所屬的檢測框代替車輛跟蹤框。

4.根據權利要求1所述基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，其特征在于，所述步驟(3)利用輕量級深度學習網絡模型檢測每幀中的車道線，具體步驟為：

利用公開的車道檢測數據集，分別構造車道線識別與分類所用的訓練數據和驗證數據；對于分類所用的訓練數據部分，選取其中的實線和虛線作為分類目標值；

識別出訓練數據和驗證數據中車道線像素點并去除噪點：設置像素孤立區域的面積閾值，將像素孤立區域面積小于閾值的車道線識別像素點去除；

采用去除噪點后的訓練數據和驗證數據交叉驗證的方法訓練輕量級深度學習網絡模型實現車道線實例分割，針對分割的每個車道線實例，在車道線上采樣固定個數的車道線像素點，利用基于全卷積的圖像分類網絡模型將車道線分為實線與虛線。

5.根據權利要求1所述基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，其特征在于，所述步驟(4)將識別出的車道線像素點在二維畫面中擬合成車道線直線方程。