[發明專利]一種基于雙子網絡的車輛重識別方法

在審

• 申請號: 202111405169.1
• 申請日: 2021-11-24
• 公開（公告）號: CN114067143A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 夏立;孫永麗;李文鵬;尉樺;嚴定鑫;孫光澤
• 申請（專利權）人: 西安烽火軟件科技有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/40;G06V10/42;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸志斌

1.一種基于雙子網絡的車輛重識別方法，其特征在于，包括如下步驟：

S101、獲取車輛重識別數據集，劃分訓練集和測試集；

S102、車輛圖像數據預處理，對S101中的訓練集執行尺度變化、顏色抖動、隨機水平翻轉、圖像填充、隨機裁剪和隨機擦除操作，對于S101中的測試集執行尺度變化操作；

S103、構建車輛圖像特征提取網絡，具體步驟如下：

S1031、利用CNN卷積神經網絡和Transformer結構構建一種雙子網絡，且該網絡采用Resnet50的Layer[0]作為網絡主干，Transformer分支共包含4個stage，該分支主要用于提取輸入圖像的全局特征，CNN卷積神經網絡分支用于獲取多粒度局部特征信息；

S1032、構建全局特征提取分支，以Transformer Encoder作為基礎單元，整體網絡可劃分為4個stage，每個stage包含的Transformer Encoder數目分別為1、3、4、4，網絡總深度為12，最后一個stage的class token作為全局特征進行輸出；

S1033、構建多粒度局部特征提取分支，雙子網絡主干部分的輸出特征圖先后經過Block_1和Block_2模塊，其中Block_1采用Resnet50的Layer[1:3]，Block_2采用Stride步長參數為1的Resnet50 Layer[3]結構，在經過自適應池化操作處理后，設置3個局部特征分支，這3個分支分別對特征圖執行3、5、7份的豎切操作，然后通過協同注意力模塊的鄰域組合操作，獲取各分支下的局部特征信息；

S1034、建立信息交互模塊，將全局分支上的特征信息和局部分支上的細粒度信息進行相互傳遞與融合，豐富各分支下的特征表征內容，兩個分支間特征向量的維度匹配主要依靠1×1卷積完成；

S104、訓練車輛重識別模型，在劃分并處理好車輛重識別數據集后，開始車輛重識別模型的訓練和優化，每次選擇固定數目的車輛圖像，作為一個訓練批次數據送入網絡中進行學習，輸出的全局特征和各局部特征送入各損失函數模塊，不斷優化車輛重識別模型；

S105、提取待識別車輛圖像特征向量，并計算其與測試集圖像的特征相似度，認為超過設定閾值的最高相似度圖像與待識別車輛屬于同一車輛。

2.根據權利要求1所述的一種基于雙子網絡的車輛重識別方法，其特征在于，在所述S1032中的全局特征提取分支中，首先利用滑動窗方式對輸入特征圖進行切分獲取Patches序列，對于輸入尺寸為H*W的車輛特征圖，假設滑動窗口大小為P，滑動窗的移動步長為S，這樣即可獲得N個Patches，具體計算如下所示：

由于不同攝像頭下的車輛圖像在外觀、尺寸等方面存在較大差異，因此，在對Patches序列進行線性映射后，參考位置信息的引入方式將攝像頭Cameras信息融合到編碼模塊。

3.根據權利要求1所述的一種基于雙子網絡的車輛重識別方法，其特征在于，所述S1034中的具體操作為：CNN分支的Block_1模塊輸出信息傳遞至Transformer分支的stage_2；經過stage_2處理的輸出信息添加至CNN分支中生成3個子局部分支的輸入流中；stage_3的輸出信息傳遞至CNN分支中的Collaborative Attention輸入流中。

4.根據權利要求1所述的一種基于雙子網絡的車輛重識別方法，其特征在于，所述S104中的損失函數模塊包含交叉熵損失函數、三元組損失函數和中心損失函數共三種，每個損失函數的作用通過權重分配系數進行控制，具體公式如下：

L＝α×L_CE+β×L_Trip+γ×L_C

上式中，L_CE、L_Trip和L_C分別表示交叉熵損失、三元組損失和中心損失函數，α、β和γ用于控制對應各損失函數的作用力度。