[發明專利]一種基于雙重注意力機制的車輛重識別方法及系統

有效

• 申請號: 202110381441.0
• 申請日: 2021-04-09
• 公開（公告）號: CN113221911B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 胡永健;甘豪;劉琲貝
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/74;G06V10/40;G06V10/764;G06V10/34;G06V10/762;G06V10/774;G08G1/017;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 鄭秋松

本發明公開了一種基于雙重注意力機制的車輛重識別方法及系統，該方法包括下述步驟：構建用于車輛特征提取的卷積神經網絡；構建用于關注不同通道的通道注意力部件；構建用于關注特征適合粒度的粒度注意力部件；在每個訓練批次中隨機選擇多類車輛，在每類車輛中隨機選擇多張圖像構建成批次圖像；將批次圖像進行實時數據增強后輸入卷積神經網絡；構建批量標簽平滑正則化后的交叉熵損失函數和三元組損失函數，兩者相加后得到整體的損失函數；將訓練后的卷積神經網絡進行特征提取，計算特征之間的歐幾里得距離，對距離重排序得到車輛重識別結果。本發明能夠更好地獲取車輛圖像的細粒度特征，提高模型的精度和穩定性。

技術領域

本發明涉及車輛重識別技術領域，具體涉及一種基于雙重注意力機制的車輛重識別方法及系統。

背景技術

車輛重識別是一種車輛搜索方法，是指輸入一個查詢車輛圖像，在數據庫中搜索與查詢車輛身份相同的車輛。車輛重識別一般應用于大規模城市視頻監控網絡中，能幫助交通管理部門快速、準確、便捷地在海量交通監控數據中發現、定位、跟蹤目標車輛。但無約束的城市交通場景給車輛重識別技術帶來了很多難題，如環境光照的多變性、拍攝角度的任意性、拍攝背景的復雜性、前景物體的遮擋等，以車牌識別技術進行搜索車輛已不能滿足時代需求。

相關研究中，為充分利用車內裝飾、年檢標等小區域特征來重識別車輛， Liu等人在《Group-Group Loss-Based Global-Regional Feature Learning for Vehicle Re-Identification》中提出了全局-局部特征學習(Global-Regional Feature Learning，GRF)，并提出了組組損失(Group-Group Loss，GGL)來加快該學習過程。其中，GRF是通過兩個子網絡學習特征，一個學習全局特征，另一個分割特征圖來學習局部特征。這兩部分特征后續通過GGL計算損失，采用L₂距離計算公式，增大類間距離，減小類內距離，以提高模型性能。Pirazh Khorramshahi等人從關鍵點和車輛方向這兩方面入手，在《A Dual-Path ModelWith Adaptive Attention For Vehicle Re-Identification》中提出了自適應注意力(Adaptive Attention)。整個模型同樣分為兩條支路，一條支路學習全局特征，另一條在檢測關鍵點和預測車輛方向后進行局部特征提取。全局特征和局部特征再經過連接操作和全連接層后，計算L2損失，反向傳播梯度更新模型。

上述方法從不同方向對局部特征進行了研究和提取，在一定程度上增強了特征的區分能力，提高了車輛重識別的性能，但是在提取局部特征時都單獨使用了一個子網絡，增加了計算資源，且對特定的數據容易出現過擬合問題，降低了實用性。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種基于雙重注意力機制的車輛重識別方法及系統。本發明提出融合通道和粒度兩方面注意力機制的方法，通道注意力機制對神經網絡隱藏層的不同通道分配不同權重，使重要通道特征得到加強，無效通道特征得到抑制；粒度注意力機制對神經網絡輸出的特征圖進行全局提取，其中的可學習參數能在全局提取時確保關注到合適的粒度，兩種注意力機制的引入使得神經網絡的收斂更加快速，提取的細粒度特征更加實用。

為解決神經網絡訓練過程中的過擬合問題，本發明采用了基于帶有標簽平滑正則化的交叉熵損失和批量三元組損失一同作為損失函數，融合了多種圖像增強方法和訓練技巧；同時，本發明在充分考慮原排序上下文信息的基礎上，提出一種新的重排序方法，具體利用查詢圖像與近似圖像聚類中心的距離來修正查詢圖像與該聚類中圖像的距離，該方法能有效減少異常結果的出現，進一步提高模型的精度和穩定性，并且計算簡單快捷，具有通用性。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種基于雙重注意力機制的車輛重識別方法，包括下述步驟：

構建用于車輛特征提取的卷積神經網絡；