[發明專利]一種基于關鍵點和圖匹配的車輛跨域重識別方法

在審

• 申請號: 202111114117.9
• 申請日: 2021-09-23
• 公開（公告）號: CN114091548A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 汪淑娟;羅慧誠
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及計算機視覺領域，特別是涉及一種基于關鍵點和圖匹配的車輛跨域重識別方法。本發明利用以HRNet為基線的關鍵點模型預測出車輛的關鍵點坐標，將基于HRNet的關鍵點模型得到的坐標映射到transformer模型上，通過關鍵點坐標得到車輛的局部特征，使用權重分配的方式使車輛的局部特征更具魯棒性，最后使用基于圖匹配的對齊策略加強車輛全局特征和局部特征之間的聯系性，可得到跨域效果良好的車輛重識別模型，克服多攝像頭下車輛的外觀不同差異。該方法可在跨攝像頭的車輛重識別中增強同一身份車輛不同樣本之間的匹配度，極大的克服多視角帶來的差異和不同車輛數據集帶來的身份風格差異。

技術領域

本發明涉及計算機視覺領域，特別是涉及一種基于關鍵點和圖匹配的車輛跨域重識別方法。

背景技術

近年來，計算機視覺領域在車輛的有監督學習上進行了充分的發展，大量的方法使用在不同攝像頭下多視角的圖片來訓練車輛網絡。這些方法往往會在源域上發揮出色的性能。然而，當訓練有素的源域模型一旦在網絡未曾見過的目標域上進行測試時，會造成劇烈的性能下降。會造成這樣的現象是基于兩部分的原因，一個原因是不同的域存在著諸如車輛方向，光照，視覺模糊等環境因素的影響。另一個原因是傳統的跨域車輛重識別方法只使用車輛的全局特征作為網絡輸入，而不重視對跨域識別有重要作用的局部特征以及局部特征之間的關聯性。

在跨域車輛重識別中，最近的工作都是集中在使用聚類策略來得到車輛的偽標簽，然而車輛偽標簽的生成與圖像的清晰度和是否模糊相關，更與超參數的使用有關。有些研究者提出使用域自適應的方法來實現車輛跨域，他們通常使用域分類或攝像頭分類的對抗方法來完成對多攝像頭下車輛圖像視角差異的克服。然而，這些域自適應的方法只能對抗掉一部分域之間的差異，只能作為提升性能的一種手段。

現有的大部分車輛重識別策略都是基于有監督的。通過注意力模型讓網絡注意到車輛的關鍵性局部信息，為局部信息間建立互補和關聯；使用教師-學生流網絡，讓學生流網絡學習教師流網絡中充分全面的車輛信息，并且用學生流中比較少的網絡參數就能達到教師流中網絡的效果；使用語義分割策略得到不同語義部分的車輛局部信息，通過這些局部信息輔助車輛重識別。此外，也有研究人員使用關鍵點來得到非常精確的局部信息，和全局特征合并使用提升車輛重識別性能。然而，他們只是將關鍵點作為一種提升性能的輔助手段，沒有去關注更重要的車輛局部信息之間的聯系。

近幾年，無監督跨域車輛重識別也開始受到人工智能界的關注，一些方法也被提出。通過將目標域的風格向源域轉變和利用聚類，生成能克服風格信息的偽標簽來實現跨域；通過對每個方向的車輛圖片進行聚類來克服視角對車輛帶來的視覺偏差。然而，這些基于聚類的跨域車輛重識別方法存在不小的瑕疵。一部分的原因是因為訓練聚類網絡需要大量相同身份的多視角車輛圖片，一旦缺少，聚類的效果就會大打折扣。另一部分的原因是當圖片不夠清晰或者圖片出現噪音，聚類的效果就會變得很差，所以現在的學術界越來越不提倡使用聚類進行車輛跨域。

發明內容

本發明提供了一種跨域車輛重識別的方法，利用以HRNet為基線的關鍵點模型預測出車輛的關鍵點坐標，通過關鍵點坐標得到車輛的局部特征，使用權重分配的方式使車輛的局部特征更具魯棒性，最后使用基于圖匹配的對齊策略加強車輛全局特征和局部特征之間的聯系性，克服多攝像頭下車輛的外觀不同差異。

本發明所采用的技術方案是：

一種基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，包括如下步驟：

Step1訓練車輛的關鍵點模型：通過訓練集對CNN網絡進行訓練得到關鍵點模型；

使用包含有整輛車36個車輛關鍵點的標注作為關鍵點網絡的坐標標簽，并引進了最先進的基于CNN網絡的用于人體關鍵點預測的HRNet模型，作為訓練車輛的關鍵點模型。此外，我們還在多個車輛的圖像集中額外挑選出不同攝像頭下多視角的車輛圖像作為訓練和測試集，用于測試關鍵點模型預測關鍵點位置的能力。