[發明專利]一種基于多損失聯合學習的車輛重識別方法

在審

• 申請號: 202210502081.X
• 申請日: 2022-05-09
• 公開（公告）號: CN115049989A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 孫亞杰;孫瑩瑩;曹小玲
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/82;G06V10/764;G06V10/25;G06V10/46;G06V10/74;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陳月菊

本發明提出一種基于多損失聯合學習的車輛重識別方法，包括：采用ResNet50網絡模型提取得到車輛圖像樣本中的車輛關鍵特征；將提取得到的車輛關鍵特征映射到特征空間中，車輛圖像樣本在特征空間中的距離用于反映圖像之間的相關性；對丟失網絡不斷訓練和學習，使具有相同ID的車輛樣本在特征空間中形成聚類；利用BN層對生成的全局特征進行歸一化處理；使用批量困難三重損失函數L_t、ID損失函數L_ID和圓損失函數L_c來對特征向量進行聯合學習。本發明能夠解決傳統的三元組損失的弱約束性，以及具有不同ID但屬于同一型號的相似車輛難以區分的技術問題。

技術領域

本發明屬于計算機視覺和圖像處理技術領域，具體涉及一種基于多損失聯合學習的車輛重識別方法。

背景技術

車輛識別不僅是智能城市交通的核心，也是計算機視覺研究的熱點之一，并在車輛檢測、車輛分類等各個領域已經得到了越來越廣泛的應用。車輛重識別作為這個領域中新的具有挑戰性和特殊性的課題，近年來吸引了越來越多的研究者。車輛重識別是指給出一張車輛圖片，可以識別出在攝像頭下或者其他照片中出現的同一輛車。它可以被分為圖像檢索的子問題。車輛重識別在現實中可以應用到真實交通系統中，起到對目標車輛的定位，追蹤的作用，從而實現諸如打擊犯罪等功能。但是在車輛重識別任務中，攝像頭的位置不同會產生光照變化、視角變化及分辨率的差異，這導致同一車輛在不同視角下產生類內差異或不同車輛因型號相同形成類間相似，這就使得車輛重識別任務的研究人員面臨巨大的挑戰。

根據訓練網絡的目標函數的差異，基于深度學習的車輛重識別方法可以分為兩類基于表征學習的方法和基于度量學習的方法。基于表征學習的方法在訓練網絡的時候并沒有直接考慮圖片的相似度，而是把車輛重識別任務當做分類(Classification)問題或者驗證(Verification)問題來看待；基于度量學習的方法旨在通過網絡學習出兩張圖片的相似度，可以當做聚類(Cluster)問題來看待。表征學習和度量學習在車輛重識別領域都有大量的研究工作，也擁有各自的優缺點。經過一段時間的發展，目前車輛重識別領域最常用的方式為同時使用表征學習損失和度量學習損失來共同優化網絡，從而融合兩種方法的優點。但是三元組損失函數雖然不停地拉近同類距離，推遠異類之間的距離，但是并未對類與類之間的絕對距離做一個明確的度量。即過于關注局部，導致難以訓練且收斂時間長。除此以外，車輛重識別還存在一個特殊難點，由于屬于同一車型的車輛彼此非常相似，即使用人眼來區分具有不同ID但屬于同一型號的車輛也是非常困難的。因此，車輛重識別需要更加魯棒地區分目標與非目標之間的差異。

發明內容

解決的技術問題：針對前述傳統的三元組損失的弱約束性，以及具有不同ID但屬于同一型號的相似車輛難以區分的技術問題，本發明提出了一種基于多損失聯合學習的車輛重識別方法。

技術方案：

一種基于多損失聯合學習的車輛重識別方法，所述車輛重識別方法包括以下步驟：

S1，對導入的車輛交通圖像進行預處理，從中裁剪得到相同尺寸的車輛圖像，對裁剪后的車輛圖像進行隨機擦除，得到車輛圖像樣本；

構建車輛重識別模型，車輛重識別模型包括ResNet50網絡模型、丟失網絡、BN層和全連接層；

S2，采用ResNet50網絡模型提取得到車輛圖像樣本中的車輛關鍵特征；

S3，將提取得到的車輛關鍵特征映射到特征空間中，車輛圖像樣本在特征空間中的距離用于反映圖像之間的相關性；對丟失網絡不斷訓練和學習，使具有相同ID的車輛樣本在特征空間中形成聚類；其中，通過在隨機生成的小批量樣本里選擇具有相同顏色的不同款式的車輛樣本，作為困難三元組；采用三元組損失學習相似性度量，最小化正樣本對之間的距離，同時最大化負樣本對之間的距離；計算得到相應的批量困難三重損失L_t；