[發(fā)明專利]一種基于無監(jiān)督跨模態(tài)的行人重識別方法

在審

• 申請?zhí)枺?/td>: 202210084577.X
• 申請日: 2022-01-25
• 公開（公告）號: CN114495004A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設計）人: 潘春燕;洪培銜;吳岸聰;鄭偉詩
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/75;G06V10/762;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開了一種基于無監(jiān)督跨模態(tài)的行人重識別方法，包括以下步驟：S1、使用具有跨模態(tài)標簽的源數據集預訓練一個局部特征提取網絡；S2、使用S1預訓練好的局部特征網絡初始化單模態(tài)聚類跨模態(tài)匹配框架的三個網絡；S3、使用負責單模態(tài)的網絡提取模態(tài)特定的特征用于單模態(tài)聚類；S4、使用負責混合模態(tài)的網絡輸出模態(tài)共享的特征計算聚類中心，并進行不同模態(tài)聚類的匹配和融合，得到新的偽類標；S5、利用得到的偽類標，使用三元組損失對這三個網絡同時進行有監(jiān)督訓練；S6、重復步驟S3至S6多次，直到偽類標被更新15次。本發(fā)明不僅考慮了域差異的問題，也考慮了模態(tài)差異的問題，從而學習得到跨模態(tài)跨域的具有魯棒性的特征。

技術領域

本發(fā)明屬于計算機視覺技術領域，具體涉及一種基于無監(jiān)督跨模態(tài)的行人重識別方法。

背景技術

無監(jiān)督跨模態(tài)行人重識別這一問題主要是為了解決行人重識別方法在夜晚環(huán)境下檢索的魯棒性不足以及跨模態(tài)標簽難以獲取的問題。在夜晚環(huán)境下光照嚴重不足，傳統(tǒng)可見光攝像頭容易失效，甚至連行人都難以捕獲。這種情況下單獨使用可見光模態(tài)的圖片進行檢索會導致效果大幅下降。

無監(jiān)督行人重識別當前可以分為兩大類，一種是域適應(domain adaptive)的無監(jiān)督行人重識別，即有一個帶標簽的源數據集和一個不帶標簽的目標數據集。一種則是純的無監(jiān)督(pure unsupervised)行人重識別，即只有一個不帶標簽的目標數據集，最多只能使用ImageNet數據集預訓練的網絡。兩種無監(jiān)督行人重識別的目標都是在無標簽的目標數據集上實現(xiàn)成功的檢索。對于域適應的無監(jiān)督行人重識別，當前的方法可以分為幾種，一種是在目標數據集上生成偽類標，一種是利用對抗生成網絡(GAN)做不同域之間的分布拉近。SSG使用DBSCAN聚類方法對輸出特征圖的不同分塊做不同的聚類得到同一張圖片不同的偽類標，接著利用三元組損失函數對這些偽類標進行學習。SPCL則提出一種對比學習的方法，同時區(qū)分對目標數據集聚類得到的類別，源數據集的類別以及沒有被聚類的離群點。HHL使用GAN將目標域圖片生成具有不同攝像機參數以及背景但仍然保持原有ID信息的圖片，并視生成的圖片與原圖片為同一個類別進行學習。

然而，當前跨模態(tài)的行人重識別方法大多數是有監(jiān)督的，而跨模態(tài)標簽的獲取難度很大，這極大地限制了這些方法在新場景的應用。在一個場景下搜集標注的數據集上訓練得到的模型，由于難以避免的過擬合問題，很難直接應用到另一個新場景中去，其效果會由于場景的差異而下降。故而每有一個新場景，為了達到比較好的效果，就需要重新搜集并標注數據集，在其上進行訓練。這樣的代價是高昂的。由于沒有考慮模態(tài)差異的問題，當前無監(jiān)督行人重識別的方法在無監(jiān)督跨模態(tài)行人重識別任務上效果會大幅下降，學習得到的特征對于夜晚環(huán)境的魯棒性不足。

發(fā)明內容

本發(fā)明的主要目的在于克服現(xiàn)有技術的缺點與不足，提出一種基于無監(jiān)督跨模態(tài)的行人重識別方法，不僅考慮了域差異的問題，也考慮了模態(tài)差異的問題，從而學習得到跨模態(tài)跨域的具有魯棒性的特征。

為了達到上述目的，本發(fā)明采用以下技術方案：

一種基于無監(jiān)督跨模態(tài)的行人重識別方法，包括以下步驟：

S1、使用具有跨模態(tài)標簽的源數據集預訓練一個局部特征提取網絡；

S2、構建單模態(tài)聚類跨模態(tài)匹配框架，框架包括三個網絡，其中兩個網絡負責不同模態(tài)圖片，學習模態(tài)特定的特征，另一個網絡負責混合模態(tài)的圖片，學習模態(tài)共享的特征，使用訓練好的局部特征提取網絡及其參數初始化單模態(tài)聚類跨模態(tài)匹配框架的三個網絡；

S3、使用負責單模態(tài)的網絡提取模態(tài)特定的特征用于單模態(tài)聚類；

S4、使用負責混合模態(tài)的網絡輸出模態(tài)共享的特征計算聚類中心，并進行不同模態(tài)聚類的匹配和融合，得到新的偽類標；

S5、利用得到的偽類標，使用三元組損失對三個網絡同時進行有監(jiān)督訓練，訓練迭代多代；