[發明專利]一種基于實時視頻的車窗拋物檢測方法

在審

• 申請號: 202011453846.2
• 申請日: 2020-12-12
• 公開（公告）號: CN112489069A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 王欣欣;葉超;吳斌;贠周會;謝吉朋;應艷麗;王旭;黃江林;賈楠;周繼強;王麗峰
• 申請（專利權）人: 江西洪都航空工業集團有限責任公司
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06T7/155;G06T7/194;G06T7/215;G06K9/00;G08G1/017;H04N7/18
• 代理公司: 南昌新天下專利商標代理有限公司 36115
• 代理人: 王燕

1.一種基于實時視頻的車窗拋物檢測方法，其特征在于，首先獲取視頻流并解碼，再利用視頻圖像序列中前后幀的關聯性對解碼后的每幀圖像進行處理，以檢測出所有圖像的運動目標區域，并提取運動目標區域，而后對提取的運動目標區域進行跟蹤，最后根據被拋物品固有的位置、大小和運動特性，判斷運動目標是否為車窗拋物，若判定運動目標為車窗拋物，則對拋出該物品車輛的車牌進行識別。

2.根據權利要求1所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，具體步驟如下：

1）獲取視頻流并解碼

獲取視頻流，并對視頻流進行硬解碼；

2）檢測運動目標

利用視頻圖像序列中前后幀的關聯性，對步驟1）中解碼后的每幀圖像進行處理，以快速檢測出所有圖像的運動目標區域；

3）提取運動目標

對于步驟2）中提取的運動目標區域，使用Grabcut算法進行運動目標區域分割，快速有效地分割出完整的運動目標；

4）跟蹤運動目標

對步驟3）中分割出的運動目標進行跟蹤；

5）檢測車窗拋物

根據被拋物品固有的位置、大小和運動特性，判斷運動目標是否為車窗拋物；

6）識別車牌

若步驟5）中判定運動目標為車窗拋物，則對拋出該物品車輛的車牌進行識別。

3.根據權利要求2所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，步驟1）中，通過前端攝像機采集實時視頻流或從第三方平臺獲取視頻流，利用ffmpeg和cuda對視頻流進行硬解碼。

4.根據權利要求2所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，步驟2）中，采用vibe算法對步驟1）中解碼后的每幀圖像進行處理。

5.根據權利要求4所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，運動目標檢測具體流程如下：

首先利用視頻序列的第一幀初始化背景，為每個像素點建立vibe背景模型，而后利用當前幀減去背景幀，再閾值化，以檢測視頻圖像序列是否包含運動目標，再利用判定為背景的像素點對vibe背景模型進行更新，如此逐幀分析視頻圖像直至結束。

6.根據權利要求2所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，步驟3）中，提取運動目標具體流程如下：

采用平滑技術對步驟2）中檢測出的所有運動目標區域進行過濾，并對當前運動目標存在小空洞殘缺情況，利用數學形態學的膨脹處理，擴展前景區域；對當前運動目標存在大面積殘缺情況，找出所有運動目標前景區域的邊緣輪廓線，根據區塊的邊緣輪廓線等得出其最小外接矩形，合并任意兩個矩形中心兩線與垂直方向夾角小于一定閾值，且垂直距離也小于一定閾值的矩形，而后在RGB顏色空間，分別對每個矩形框內的圖像，給出Grabcut的初始化信息，執行分割，以獲取完整的運動目標。

7.根據權利要求2所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，步驟4）中，跟蹤運動目標具體流程如下：

首先從上一幀視頻圖像檢測得到的運動目標區域中提取出目標狀態特征值，建立對應目標鏈表，而后利用kalman運動區域預測模型對目標鏈表中需要跟蹤的運動目標進行狀態信息預測，以縮小MeanShift跟蹤時搜索匹配候選目標次數，從而加速跟蹤速度；最后在預測范圍內對跟蹤的運動目標區域進行MeanShift跟蹤，以建立運動目標的關聯信息，且采用最佳匹配的運動目標區域信息更新目標鏈表中相應的運動目標區域信息，同時對kalman運動區域預測模型更新，并在對kalman運動區域預測模型更新過程中，記錄運動目標的中心位置、寬度、高度、面積和位移信息。

8.根據權利要求2所述的一種基于實時視頻的車窗拋物檢測方法，其特征在于，步驟5）中，檢測車窗拋物具體流程如下：

根據步驟4）中跟蹤的運動目標信息，總結出當前幀所有運動目標的特性，將滿足拋物與車輛初始關系小的目標為疑似拋物，最后通過視頻序列中各幀數據的關聯性以判斷疑似拋物目標是否為真正的拋物。