[發明專利]一種基于雙子網絡的車輛重識別方法

在審

• 申請號: 202111405169.1
• 申請日: 2021-11-24
• 公開（公告）號: CN114067143A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 夏立;孫永麗;李文鵬;尉樺;嚴定鑫;孫光澤
• 申請（專利權）人: 西安烽火軟件科技有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/40;G06V10/42;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸志斌

本發明公開了一種基于雙子網絡的車輛重識別方法，包括獲取車輛圖像數據集、車輛圖像數據預處理、構建車輛圖像特征提取神經網絡、訓練車輛重識別模型、提取待識別車輛圖像特征向量并計算其與測試集圖像的特征相似度共5大模塊。該種基于雙子網絡的車輛重識別方法，旨在構建一個具有強判別能力的神經網絡模型，進一步解決光照、視角等因素對車輛重識別結果的影響，提高車輛重識別的準確率。本發明在融合CNN和Transformer結構的基礎上設計了一種雙子網絡，其在協同學習車輛圖像區域的多粒度局部特征的同時，能夠獲取有效的全局特征信息，從而提升車輛重識別模型的判別性表征能力。

技術領域

本發明涉及車輛重識別技術領域，具體為一種基于雙子網絡的車輛重識別方法。

背景技術

作為智慧城市和智慧交通的關鍵技術之一，車輛重識別技術近年來已受到學術界和工業界的廣泛關注和深入研究。車輛重識別又稱Vehicle Re-identification，本質和行人重識別相同，屬于重識別任務的一種。該問題可以看成是一種圖像檢索問題，其基于已給定車輛圖像，在跨攝像機場景的多視角任務下找到同一目標車輛圖像。

隨著深度學習領域的迅速發展，基于深度學習的車輛重識別技術也得到了長足進步。基于深度學習的方法通常首先需要根據訓練數據集構建一個能夠識別車輛身份信息的神經網絡，再使用該網絡提取輸入車輛圖像特征，最后計算車輛特征間的相似度，相似度高的車輛圖像即認為是同一車輛。由于不同相機下的視角、光照、遮擋等情況存在較大差異，所以導致車輛重識別任務的類內樣本距離大、類間樣本距離小，這也是車輛重識別任務的主要難點。相關的方法可分為以下幾類：

基于多維度信息融合的車輛重識別方法，其在車輛身份信息的基礎上，融合時空信息、車輛顏色、車輛類型和攝像頭身份等多個屬性，從而獲得車輛的辨別性特征。該類方法對車輛圖像視角等的劇烈變化較為敏感。此外，由于車輛相關屬性信息的獲取和標注難度較大，導致該類方法嚴重受限；

基于度量學習的方法，該類方法通常將輸入車輛圖像映射到不同特征空間中，在各空間的同步約束下學習區分類間相似和類內差異樣本的辨別性能力，其具有較好的性能表現，但復雜的視角變化仍會影響識別精度；

基于局部特征學習的車輛重識別方法，其依賴預先定義的區域或者關鍵點獲取有區別的局部特征，用于區分不同樣本。該類方法忽略了判別性特征可能出現在車輛的任意地方，因此對于存在局部細微差異的樣本區分性弱；

基于生成對抗網絡的方法，一些工作使用GAN生成難樣本來輔助網絡處理視點變化問題，但由于GAN生成能力的限制和對抗性樣本的不足，生成內容的真實性較差。

發明內容

本發明提供了一種基于雙子網絡的車輛重識別方法，旨在構建一個具有強判別能力的神經網絡模型，進一步解決光照、視角等因素對車輛重識別結果的影響，提高車輛重識別的準確率。本發明在融合CNN和Transformer結構的基礎上設計了一種雙子網絡，其在協同學習車輛圖像區域的多粒度局部特征的同時，能夠獲取有效的全局特征信息，從而提升車輛重識別模型的判別性表征能力，本發明提供了如下的技術方案：

本發明一種基于雙子網絡的車輛重識別方法，包括如下步驟：

S101、獲取車輛重識別數據集，劃分訓練集和測試集；

S102、車輛圖像數據預處理，對S101中的訓練集執行尺度變化、顏色抖動、隨機水平翻轉、圖像填充、隨機裁剪和隨機擦除操作，對于S101中的測試集執行尺度變化操作；

S103、構建車輛圖像特征提取網絡，具體步驟如下：

S1031、利用CNN卷積神經網絡和Transformer結構構建一種雙子網絡，且該網絡采用Resnet50的Layer[0]作為網絡主干，Transformer分支共包含4個stage，該分支主要用于提取輸入圖像的全局特征，CNN卷積神經網絡分支用于獲取多粒度局部特征信息；