[發明專利]一種非對齊相似車輛前窗差異信息檢測方法

有效

• 申請號: 201810737218.3
• 申請日: 2018-07-06
• 公開（公告）號: CN109740405B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 徐寬;陳杰
• 申請（專利權）人: 博云視覺（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 陳娟

本發明公開了一種非對齊相似車輛前窗差異信息檢測方法，具體由3個模塊構成：車窗標記點檢測模塊、透視變換模塊以及差異區域檢測模塊構成。這三個模塊車輛圖像對作為輸入，輸出差異區域的候選框以及對應的置信度。本發明通過提供高精度的車輛檔風玻璃標記點模塊；采用透視變換解決相機光心以及內部參數變換帶來的影響；采用雙流網絡結構同時包含兩張輸入圖片，通過比較他們的高維特征確定檢測差異區域。

技術領域

本發明涉及車輛差異區域檢測技術領域，特別是一種非對齊相似車輛前窗差異信息檢測方法。

背景技術

隨著安防攝像頭的不斷普及，車輛精準搜索已經成為了公共安全中的一個重要課題。之前的研究人員都通過度量學習的方式將車輛表現為一個全局特征。這種方法雖然能夠很好的搜查到外形相似的車輛，但是車窗后面的細節差異信息并不能夠很好的被觀察人員或者是現有的視覺算法所找到。這些細節的差異信息一方面能夠直接作為一個重排序模塊，提升初始檢索性能的指標。另一方面，它可以通過可視化車輛圖片對之間差異區域的方式，幫助視頻觀察人員快速的挑選出與搜索圖像盡可能接近的圖像，起到快速查詢擴展的作用。

現有技術方案中有一定程度上解決了非對齊相似車輛前窗差異信息檢測的問題，但這些方法都基本上將整個問題拆分成圖像對齊以及差異性檢測兩個方面，有很大的局限性。同時在精度，效率及可泛化性上還存在較大的問題。對于這兩部分，現有技術方案的處理方法有：

圖像對齊：通過傳統的圖像描述算子或者是依賴深度學習的圖像局部特征，他們分別提取各自圖像之間的特征點并相互匹配，通過求解對應匹配點之間的單應性矩陣，完成車輛圖像對之間的對齊。

差異區域檢測：通過車輛圖像對之間的直接相減或者是特征相減的方式獲得差異特征圖。之后在差異特征圖的基礎上完成對于差異區域的定位。這些方法一般將單一像素作為差異分析的基本單位。

但是現有技術中還存在以下缺點：

1、基于圖像特征算子的圖像對齊在車窗強反光情況下基本失效；

2、圖像對之間的單應性變換解決不了相機光心以及內部參數的變換；

3、傳統的物體檢測方法無法解決差異區域這類沒有特定類別信息的特征。

發明內容

本發明的目的是要解決現有技術中存在的不足，提供一種非對齊相似車輛前窗差異信息檢測方法，提供高精度的車輛檔風玻璃標記點檢測模塊；采用透視變換解決相機光心以及內部參數變換帶來的影響；采用雙流網絡結構同時包含兩張輸入圖片，通過比較他們的高維特征確定檢測差異區域。

為達到上述目的，本發明是按照以下技術方案實施的：

一種非對齊相似車輛前窗差異信息檢測方法，包括以下步驟:

步驟一、通過車窗標記點檢測模塊采集得到m個車窗候選區域B＝{B_i|i∈{1,2,…,m}}；為此得到損失函數：其中i為候選框的索引信息；p_i為候選框屬于車窗的概率，t_i代表向量化的候選框坐標；和為對應的標注信息，每一個車窗候選框擁有四個頂點V＝{V_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}；在車窗候選區域的基礎上，使用通過RoI Pooling得到的特征，預測得到車窗標記點K＝{K_i,j|i∈(1,2,…,m),j∈(1,2,3,4)}，在學習目標的設定時，將4個預測的車窗標記點K，4個車窗候選區域的頂點V以及車窗標記點的標注信息K^*；對于車窗標記點的回歸，有以下的損失函數：結合損失函數：得到最終的損失函數：