[發明專利]一種基于相機感知和深度學習的無監督域適應行人重識別方法

在審

• 申請號: 202211056593.4
• 申請日: 2022-08-30
• 公開（公告）號: CN115578746A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 吳晴晴;郭立君;余曉婷;張榮
• 申請（專利權）人: 寧波大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/82;G06V10/762;G06N3/04;G06N3/08
• 代理公司: 寧波甬致專利代理有限公司 33228
• 代理人: 袁波

本發明涉及一種基于相機感知和深度學習的無監督域適應行人重識別方法，采用將目標域數據集中的特征基于圖片樣本自帶的相機編號進行篩分，然后進行聚類得到多個相機的相機內部偽標簽，并基于一致性系數矩陣和跨相機的全局偽標簽對多個相機的相機內部偽標簽進行重新編整，使得多個相機內的屬于同一類代理的偽標簽的類代理編號一致，修正后的跨相機的全局偽標簽克服了全局聚類中跨視角造成的同個行人在圖片上的差異，并通過計算源域數據集和目標域數據集的對比損失進一步緩解了目標域數據集中的相機域差異，提高了對噪聲標簽的魯棒性。

技術領域

本發明涉及行人重識別技術領域，具體而言，涉及一種基于相機感知和深度學習的無監督域適應行人重識別方法。

背景技術

行人重識別是近年來計算機視覺領域比較熱門的研究方向之一，它是一個圖像檢索中的問題，是利用計算機視覺技術判斷圖像或視頻中是否存在特定行人的技術，即給定一個監控行人圖像檢索跨設備下的該行人圖片。

隨著科技的發展，行人重識別技術已經被廣泛應用到智能安防、視頻監控等領域。目前，行人重識別已經在有標注的監督領域取得了比較大的突破，并且展現出了優越的性能。但是，由于標注數據集需要較高的人工成本，而無標簽的數據往往是十分廉價而且規模比較大的。如何擴展到大型未標注的數據集和新的數據域越來越受到人們的關注，無監督域適應行人重識別應運而生。

目前先進的無監督域適應行人重識別方法大多采用基于偽標簽的方式。首先，利用有標簽的源域數據預訓練網絡模型，然后，對無標簽的目標域樣本估計偽標簽用于訓練。基于偽標簽的方法極大地提高了無監督域適應行人重識別模型的效果。然而，無監督的方法與有監督的方法相比，在性能上仍有較大差距。由于不同相機視角拍攝下，同一個行人的圖片存在較大差異，聚類算法不能保證同一個行人的圖片樣本會被分配到相同的偽標簽，這就不可避免地引入了噪聲標簽。模型訓練中容易受到標簽噪聲的影響，導致模型性能的下降。

發明內容

本發明解決的問題是如何降低因跨相機視角造成的同個行人在圖片上的差異,提高對噪聲標簽的魯棒性。

為解決上述問題，本發明提供一種基于相機感知和深度學習的無監督域適應行人重識別方法，包括：

步驟1、獲取一個有標簽的源域數據集和一個無標簽的目標域數據集其中，N_s為源域數據集中的圖片樣本的數量，N_t為目標域數據集中的圖片樣本的數量，源域圖片對應的真實標簽將源域數據集和目標域數據集中的每張圖片樣本進行預處理；

步驟2、構建基于相機感知的行人重識別網絡模型，并將預處理后的源域數據集和目標域數據集輸入行人重識別網絡模型進行特征提取，得到特征集其中，為源域數據集中圖片樣本x^s的特征，為目標域數據集中圖片樣本x^t的特征；

步驟3、根據圖片自帶的相機標簽，分別對中同一個相機內的特征進行全局聚類，分別得到多個相機的相機內部偽標簽所述相機內部偽標簽內包含多個精細類樣本集合；對的特征集中的進行全局聚類，得到跨相機的全局偽標簽所述跨相機的全局偽標簽內包含多個粗糙類樣本集合；

步驟4、根據聚類結果構建相機不可知記憶模塊和相機感知記憶模塊，并根據跨相機的全局偽標簽和相機內部偽標簽計算一致性系數矩陣；然后基于一致性系數矩陣和跨相機的全局偽標簽對多個相機的相機內部偽標簽進行編整，得到修整后的跨相機的全局偽標簽和修整后的相機內部偽標簽進而得到帶有偽標簽的目標域數據集

步驟5、采用聯合訓練的方式，通過計算源域數據集和目標域數據集的訓練損失，梯度回傳更新行人重識別網絡模型的參數，動態更新相機不可知記憶模塊和相機感知記憶模塊的參數，保存行人重識別網絡模型的參數的最優參數。