[發明專利]一種非對齊相似車輛前窗差異信息檢測方法

有效

• 申請號: 201810737218.3
• 申請日: 2018-07-06
• 公開（公告）號: CN109740405B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 徐寬;陳杰
• 申請（專利權）人: 博云視覺（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 陳娟

1.一種相似車輛前窗差異信息檢測方法，其特征在于，包括以下步驟:

步驟一、通過車窗標記點檢測模塊采集得到m個車窗候選區域B＝{B_i|i∈{1，2，...，m}}；為此得到損失函數：其中i為候選框的索引信息；p_i為候選框屬于車窗的概率，bi代表向量化的候選框坐標，L_cls為基于logloss的分類損失函數，L_breg為基于L2-loss的候選框坐標回歸損失函數；和bi^*為對應的標注信息，每一個車窗候選框擁有四個頂點K＝{K_i，j|i∈(1，2，...，m)，j∈(1，2，3，4)}；在車窗候選區域的基礎上，使用通過RoI Pooling得到的特征，預測得到車窗標記點K＝{K_i，j|i∈(1，2，...，m)，j∈(1，2，3，4)}，在學習目標的設定上，將4個預測的車窗標記點K，4個車窗候選區域的頂點V以及車窗標記點的標注信息分為對應的4組；對于車窗標記點的回歸，有以下的損失函數：結合損失函數：得到最終的損失函數：

其中：k_i表示第i個預測的車窗標記點，k_i^*表示第i個預測的車窗標記點的標注信息，L_kreg表示參與車窗標記點k的回歸損失函數，N_cls表示參與車輛候選框分類模型的個數，N_breg表示參與車輛候選框標記點回歸損失函數的標記點個數，N_kreg表示參與車窗標記點回歸損失函數的標記點個數，r₁、r₂分別表示車窗候選框標記點回歸損失函數對應的超參數；

步驟二、通過使用車窗標記點檢測模塊得到的K′以及對應的目標圖像的四個頂點D＝{(0，0)，(0，h)，(w，0)，(w，h)}經透視變換模塊進行變換得到變換矩陣M，對于目標圖像上每一個像素點(x_t，y_t)，一個采樣核在源圖像的對應位置上采樣插值得到對應的像素值，目標圖像T和原始圖像S像素點之間的轉換關系為：z_tp_s＝Mp_t，其中p_s＝(x_s，y_s，1)^T和p_t＝(x_t，y_t，1)^T是目標圖像和源圖像之間對應的點，z_t表示縮放系數；

步驟三、采用雙流差異區域檢測模塊構建雙流網絡結構同時包含兩張輸入圖片，通過比較他們的高維特征確定檢測差異區域。

2.根據權利要求1所述的相似車輛前窗差異信息檢測方法，其特征在于，所述步驟三具體包括：

1)使用3x3的卷積模塊以及2x2的池化窗口，對于差異區域的檢測，設計如下的損失函數：差異/非差異的一個二分類的交叉熵損失、差異區域的回歸損失：其中：L_cls為基于logloss的分類損失函數，L_breg為基于L2-loss的候選框坐標回歸損失函數；通過車窗差異性檢測網絡，獲得車窗內差異區域對應的可視化標注框；

2)基于車窗差異區域的車輛搜索重排序算法，對于待檢測車輛圖像對，得到它的差異區域數量N以及每個差異區域對應的置信度P＝{p_i}，對于給定圖像q，得初始搜索結果G＝{g_i|i∈{1，2，...，m}}.，由現有度量學習模型獲得初始檢索結果G＝{g_i}，i＜m，則得到相似度S(q，g_i)，得到差異區域數量及置信度N_q和P_q，得到不相似度更新相似度θ₁、θ₂表示更新相似度過程中的超參數；如果i≥m，根據更新后的相似度S(q，g_i)，對結果進行基于車窗差異區域信息的人為參與查詢擴展算法運算；

3)基于車窗差異區域信息的人為參與查詢擴展算法具體為：對于任意圖像對，可視化其差異區域人為挑選無差異可視化結果圖像作為擴展查詢樣本，完成對車輛差異區域的檢測。