[發明專利]一種基于多粒度特征表示和域自適應學習的無監督行人重識別方法

在審

• 申請號: 202110258611.6
• 申請日: 2021-03-09
• 公開（公告）號: CN113052017A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 付利華;杜宇斌;陳人杰;王丹;陳輝
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于多粒度特征表示和域自適應學習的無監督行人重識別方法，用于解決無監督行人重識別跨域識別精度不高，行人特征表示辨別力不強的問題，提升模型的可擴展性。首先引入多粒度特征提取模塊，得到行人圖像具有更豐富判別信息的多粒度特征表示；對于源數據集中有標簽的行人圖像，源域分類模塊對其進行分類學習，為域自適應學習模塊提供源域的行人判別知識；域自適應模塊基于從源域中獲得的判別知識，充分挖掘目標數據集中潛在的判別信息。本發明能夠獲得較強的行人特征表示，考慮目標域與源域的差異因素，在無標簽的目標域識別精度較高，并保持穩定的識別效果。

技術領域

本發明屬于圖像處理和計算機視覺領域，涉及行人重識別的方法，尤其涉及一種基于多粒度特征表示和域自適應學習的無監督行人重識別方法。

背景技術

行人重識別是跨越不同攝像頭的行人圖像檢索任務。近幾年，隨著深度卷積網絡的引入，行人重識別技術快速發展，尤其是有監督的行人重識別技術獲得了較高的重識別精度。但是，有監督的行人重識別技術需要手動標識訓練數據，而對于深度學習模型，需要大量有標簽的行人圖像，以訓練得到較為魯棒的行人重識別模型，這不僅需要耗費大量的精力和時間，也限制了行人重識別技術的進一步發展。無監督的行人重識別技術旨在解決行人重識別模型的可擴展性問題，即如何將行人重識別模型從有標簽的源數據集擴展到其它無標簽的目標數據集。對于無標簽的目標數據集，行人重識別模型如何有效地學習到目標域的判別信息，是無監督行人重識別技術的一項重要挑戰。

一般的無監督行人重識別方法首先在有標簽的源數據集預訓練模型，只學習行人圖像的一般特征表示，然后將無標簽的目標數據集輸入模型進行聚類或分配偽標簽，最后基于得到的聚類結果或偽標簽，對預訓練模型進行微調，得到最終的重識別模型。通過從源域傳遞判別知識給目標域，這種方法可以使模型學習到目標數據集的分布，從而更好地適應目標域的變化。但是，由于模型提取的行人特征表示辨別力不足，并且通過預訓練模型得到的聚類結果或偽標簽與目標數據集的真實行人標簽存在偏差，模型并不能真正學習到目標域的判別信息，因此導致模型沒有達到令人滿意的效果。

為了解決上述問題，本發明提出一種基于多粒度特征表示和域自適應學習的無監督行人重識別方法。

發明內容

本發明用于解決無監督行人重識別跨域識別精度不高、行人特征表示辨別力不強的問題。為了解決上述問題，本發明提供了一種基于多粒度特征表示和域自適應學習的無監督行人重識別方法。首先設計多粒度特征提取模塊，提取更多的行人局部細節信息，得到具有更豐富判別信息的多粒度行人特征表示；為有效提高行人重識別模型的可擴展性，設計域自適應模塊，基于從源域中獲得的判別知識，考慮目標域與源域之間的差異對模型進行適應性學習，充分挖掘目標數據集中潛在的判別信息。通過模塊間的相互協作，本發明在無標簽的目標域可以達到良好的行人重識別效果。具體包括以下步驟：

1)將行人圖像輸入多粒度特征提取模塊，該模塊把池化后的行人特征劃分為不同粒度大小，不同粒度的特征首尾相連得到具有更豐富判別信息的多粒度特征表示；

2)將源域的行人圖像經過多粒度特征提取模塊得到的多粒度特征輸入源域分類模塊進行分類學習，計算具有行人標簽的源域分類損失，使模型獲得源域行人的判別信息并為域自適應學習模塊提供源域的行人判別知識；

3)將目標域無標簽的行人圖像經過多粒度特征提取模塊得到的多粒度特征輸入域自適應模塊，基于從源域中獲得的判別知識，考慮目標域與源域之間的差異對模型進行適應性學習，充分挖掘目標數據集中潛在的判別信息。

4)將源域分類損失與域自適應損失的加權和作為總損失訓練整個模型。

5)在測試階段，目標域的行人圖像經過多粒度特征提取模塊，得到不同粒度的行人特征后，將其首尾連接作為最終的多粒度行人特征表示，通過計算查詢圖像與圖像庫中圖像的相似度，返回重識別結果。

進一步，所屬步驟1)中的多粒度特征提取模塊，獲得多粒度特征，具體為：