[發明專利]圖像相似度的計算方法、目標對象重識別方法及系統

有效

• 申請號: 202110395255.2
• 申請日: 2021-04-13
• 公開（公告）號: CN113065495B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 徐剛;石林青;沈劍豪;池成;劉鑫;李文杰;謝智林
• 申請（專利權）人: 深圳技術大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/44;G06V10/74;G06V10/82;G06N3/0464
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 盧澤明

本發明涉及重識別技術領域，公開了一種圖像相似度的計算方法、目標對象重識別方法及系統，重識別方法在重識別系統的硬件支撐下，采用本圖像相似度的計算方法，在傳統三元組損失函數只采用歐式距離計算樣本相似度的基礎上，增加余弦相似度計算，從兩個維度進行衡量，同時兼顧到類內樣本和類間樣本之間的絕對差異和方向差異，提高了目標對象重識別結果的準確率，并能進一步壓縮現有輕量級網絡中間層計算量，降低全局特征維度，減少特征相似度的計算量，使其能夠適應終端設備算力極限。本發明的重識別方法還能利用各環節結果數據打包轉發的手段，從獲取數據、目標檢測、數據集處理、目標對象重識別到結果上傳都無需人工干預，大幅度提高工作效率。

技術領域

本發明涉及重識別技術領域，具體涉及一種圖像相似度的計算方法、目標對象重識別方法及系統。

背景技術

重識別是指利用計算機視覺技術判斷跨攝像頭圖像或視頻序列中是否存在特定目標對象的技術，例如車輛重識別技術和行人重識別技術等。車輛重識別(Re-identification，簡稱為ReID)是指給定一張車輛圖片，匹配出該車在其他攝像頭下的圖像，可將車輛重識別問題看作圖像檢索的子問題。

目前，車輛重識別任務網絡模型基于公開數據集訓練，測試集包括查詢集和被查詢集，查詢集和被查詢集中包含不同角度攝像頭抓拍的車輛圖片，例如，在紅綠燈路口抓拍違章車輛時，采用一組近景攝像頭和一組遠景攝像頭，近景攝像頭用于抓拍清晰的車牌信息，進行車牌識別，遠景攝像頭用于抓拍整個違章現場的環境圖片(包含紅燈和當前車輛圖像)，其中，近景攝像頭下所獲取的圖片構成查詢集，遠景攝像頭下所獲取的圖片構成被查詢集，對比近景攝像頭和遠景攝像頭下的圖片，通過兩組違章圖片共同構成交通違章罰款依據。

現有技術中的車輛重識別技術存在以下問題：

1、單一功能的車輛重識別裝置無法直接應用于實際場景

目前，車輛重識別任務網絡模型基于公開數據集訓練的，測試集包含查詢集和被查詢集，查詢集和被查詢集中包含不同角度攝像頭抓拍的車輛圖片。重識別任務的目標是從查詢集中取出查詢車輛的圖片，在被查詢集中查詢匹配該車圖片，也就是進行跨攝像頭圖片重識別。重識別任務的識別對象是已經捕捉并切割好的車輛圖片，但是在實際場景中應用，普通攝像頭返回數據格式多為路面的視頻或圖片，并不是一張張捕捉并切割好的車輛圖片，單一功能的車輛重識別裝置無法自動重識別原始數據中的車輛對象，不能直接應用于實際場景。目前常見的解決方案是將現場的原始數據回傳至交通控制中心，通過人工或者目標檢測的方法將車輛圖片切割后，再進行車輛重識別。此方案存在兩點不足：首先，交通網絡系統信息量龐大，直接將大容量的原始數據回傳浪費網絡帶寬；其次，原始數據前處理和車輛重識別過程需要人工干預，效率較低。最終，直接導致當前車輛重識別裝置無法直接應用于終端實際場景。

2、現有方法計算量過高，終端芯片算例無法滿足

在運用深度學習方式實現目標重識別領域，車輛重識別公開數據集的復雜度越來越高，例如VeRi776，包含20臺不同角度攝像頭的拍攝圖片，學者們主要將研究重心放在提升模型在公開數據集上的預測精度，模型從ResNet32逐漸提升至ResNet101，深度不斷增加；在輸入圖片尺寸要求[384x384]的情況下，計算量高達幾百MFlops甚至達到GFlops級別，所以無論模型在公開數據集上的測試結果準確率有多么高，這樣的模型也只能在實驗室的高性能設備上運行，過高的計算量使得網絡模型難以移植到終端設備，無法在工程實踐應用。

3、輕量型網絡準確率偏低

在深度學習領域，計算量和準確率通常是兩個相互矛盾的指標，使用輕量級網絡，雖然可以滿足終端芯片算例極限，但導致重識別結果準確率下降，應用過程中，違章車輛圖片重識別可能存在錯報、漏報等問題。

4、訓練中容易導致模型沿單一方向收斂