[發明專利]基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法

有效

• 申請號: 202011326732.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112487908B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 張文波;劉鐘鍇;王升;王于凱;劉昊東;陳景旭;劉志遠
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/774;G06V10/82;G06V10/764
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐瑩

本發明公開了一種基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，包括：利用yolo系列的深度神經網絡識別算法對前方車輛進行目標檢測，將車輛跟蹤框與當前幀中的檢測框進行關聯，并與目標外觀信息融合；將車輛跟蹤框利用檢測框代替；識別出車道線像素點并去除噪點，再將車道線分為實線與虛線；將識別出的車道線像素點擬合成車道線直線方程；在檢測框下邊框上選取兩個位置點，并判定與車道線直線方程的關系，判定車輛是否處于壓線狀態；為碾壓車道線的起始和結束時刻設置判定條件，且記錄車輛id和檢測框的位置bbox、開始時刻信息；將同一輛車的開始和結束時刻信息對比，合并輸出。本發明能夠對壓線事件進行動態檢測，提高檢測精度。

技術領域

本發明涉及一種基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，屬于計算機視覺檢測的技術領域。

背景技術

車輛在行駛中的違章行為是交通事故頻發的重要原因，其中違章壓線易導致與相鄰車道的車輛發生碰撞，具有更高的危險性，而電子警察固定視角的攝像頭監控區域有限，隱蔽性差，便于駕駛員躲避違章檢測。因此，動態追蹤檢測違章事件，擴大交通執法區域，提高交通行政執法檢查、違章處罰的效率、機動性和準確性，顯得愈加重要。

在已有的車輛壓線行為檢測中，一部分采用了傳統的計算機視覺方法，如區域選擇、特征提取、分類回歸；還有一部分采用了深度學習的方法。已有的方法雖然能夠通過語義分割和成熟的卷積神經網絡實現車輛與車道線檢測，甚至可判定單個圖片中車輛壓線狀態，但很少能夠將兩者結合對前方車輛壓線事件進行動態檢測。

發明內容

本發明所要解決的技術問題在于克服現有技術的不足，提供一種基于車載視頻的前方車輛壓線行為檢測和動態追蹤方法，結合深度學習與語義分割設計了一種新的框架，將基于ErfNet網絡的車道線檢測模型嵌入到基于yolo的車輛檢測追蹤模型中，并加入壓線起始和終止時刻的判定邏輯，同時處理了壓線過程追蹤異常的問題，有效提高車輛違章壓線檢測精度。

本發明具體采用以下技術方案解決上述技術問題：

基于車載視頻的前方車輛追蹤和違章壓線行為檢測方法，包括以下步驟：

步驟(1)、利用yolo系列的深度神經網絡識別算法對前方車輛進行目標檢測，將基于卡爾曼濾波預測車輛軌跡得到的車輛跟蹤框與當前幀中的檢測框進行關聯，并與目標外觀信息融合，通過級聯匹配以及車輛跟蹤框與檢測框的交集與并集的比值即IOU比值，實現對前方車輛的檢測與追蹤；

步驟(2)、根據車輛跟蹤框與檢測框的IOU比值，將每一幀所使用的所有車輛跟蹤框利用檢測框代替；

步驟(3)、利用輕量級深度學習網絡模型檢測每幀中的車道線，識別出車道線像素點并去除噪點，再利用基于全卷積的圖像分類網絡模型將車道線分為實線與虛線；

步驟(4)、將識別出的車道線像素點擬合成車道線直線方程；

步驟(5)、對每一幀中追蹤到的車輛，在檢測框下邊框上選取兩個位置點(lx,y)和(rx,y),以此兩點判定與車道線直線方程的關系，判定車輛是否處于壓線狀態，并在判定處于壓線狀態時記錄每一幀中車輛的壓線信息，包括每一幀中的車輛id、檢測框的位置、壓線狀態、對應的車道線類型；

步驟(6)、在判定處于壓線狀態時，為碾壓車道線的起始時刻設置判定條件，并將每幀獲取到的車輛壓線信息與之前連續若干幀的該車輛的壓線信息作對比，條件滿足則判定為壓線開始，且記錄開始時刻信息；

步驟(7)、在判定處于壓線狀態時，為碾壓車道線的結束時刻設置判定條件，并對于已經判定為壓線開始的車輛，將每幀獲取到的車輛壓線信息與之前連續若干幀的該車輛的壓線信息作對比，條件滿足則判定為壓線結束，且記錄結束時刻信息

步驟(8)、將同一輛車的開始和結束時刻信息對比，若車道線類型相同，則合并輸出為一個最終結果，若車道線類型不同，則判斷是兩個壓線事件，并將開始和結束時刻信息整合，輸出為兩個結果。