[發(fā)明專利]一種基于不變性特征提取的域泛化行人重識別方法

在審

• 申請?zhí)枺?/td>: 202210991899.2
• 申請日: 2022-08-17
• 公開（公告）號: CN115410223A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 郭迎春;何歡;姚爽;閻剛;于洋;呂華;朱葉;郝小可;師碩;于明
• 申請（專利權(quán)）人: 河北工業(yè)大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/40;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 12210
• 代理人: 付長杰

本發(fā)明為一種基于不變性特征提取的領(lǐng)域泛化行人重識別方法，該方法包括以下內(nèi)容：構(gòu)建識別模型，所述識別模型以ResNet50網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，還包括注意力感知的不變性特征提取模塊，所述ResNet50網(wǎng)絡(luò)具有依次串聯(lián)的N個殘差單元，在前N?1個殘差單元的輸出處均連接一個注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出不接注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出連接平均池化層、批量歸一化層和全連接層；所述注意力感知的不變性特征提取模塊用于提取領(lǐng)域不變特征，包括：實例歸一化層、分組白化層、空間注意力和通道注意力。該方法對所有源域統(tǒng)一進行處理，減少了模型參數(shù)，避免了采用領(lǐng)域?qū)＜曳绞綄ο鄬?yīng)源域的過擬合。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺、圖像處理等技術(shù)領(lǐng)域，具體地說是一種基于不變性特征提取的域泛化行人重識別方法。

背景技術(shù)

行人重識別是指在開放集設(shè)置下，在不相交的攝像機視圖之間進行行人檢索的問題，被認為是圖像檢索的子問題，能夠在海量的監(jiān)控視頻數(shù)據(jù)中挖掘出有效信息。隨著在智慧城市，安防和智能監(jiān)控系統(tǒng)中的迫切需求，以及在各種場景中監(jiān)控攝像頭數(shù)量的不斷增加，行人重識別受到越來越廣泛的關(guān)注。

早期的行人重識別研究主要集中在如何設(shè)計更好的行人特征和如何對特征進行相似度的度量兩個層面。前者比較有代表性的方式是傳統(tǒng)特征提取方法：梯度直方圖(Histogram of Oriented Gradient，HOG)特征和局部最大出現(xiàn)(Local MaximalOccurrence，LOMO)特征；后者比較有代表的是基于深度學(xué)習(xí)的保持簡單直接的度量(keepit simple and straightforward metric，KISSME)和交叉視圖二次判別分析(Cross-viewQuadratic Discriminant Analysis，XQDA)等等。由于傳統(tǒng)手提特征+相似度度量的方法無法應(yīng)對復(fù)雜的真實環(huán)境，深度學(xué)習(xí)算法的發(fā)展為行人重識別提供了新的思路，使其得到了廣泛的發(fā)展。

行人重識別首先研究的是有監(jiān)督的方法，有監(jiān)督的行人重識別是指在單一帶標簽的數(shù)據(jù)集下進行訓(xùn)練并在相同數(shù)據(jù)集下進行測試的方法，在一些公開數(shù)據(jù)集上的準確率已經(jīng)取得了巨大的成功，但由于其存在高昂的標注數(shù)據(jù)集的人工和時間成本，且將在一個數(shù)據(jù)集上訓(xùn)練的模型直接應(yīng)用于另一個領(lǐng)域上時，性能會有很大的下降的問題，也就是領(lǐng)域偏移問題，因而限制了行人重識別模型在實際中的應(yīng)用。為了解決這一問題，領(lǐng)域自適應(yīng)行人重識別技術(shù)應(yīng)運而生，通過在一個領(lǐng)域上訓(xùn)練行人重識別模型，只需要用很少的目標域數(shù)據(jù)，遷移到新的領(lǐng)域上，因而距離實用性更近一步。但由于公共隱私以及應(yīng)用場景的限制，有時候獲得目標域數(shù)據(jù)的成本及其高昂甚至根本無法獲取，以及其無法窮盡所有應(yīng)用場景的固有限制，限制了它在實際中的應(yīng)用。

域泛化行人重識別在源域上訓(xùn)練模型，不經(jīng)過微調(diào)，直接應(yīng)用在目標域數(shù)據(jù)上，因而是一種非常符合實際應(yīng)用的方向。域泛化的行人重識別主要包括元學(xué)習(xí)，即將源域分成元訓(xùn)練域和元測試域來模擬可見的源域和不可見的目標域；集成學(xué)習(xí)，即訓(xùn)練多個模型并使其能夠推廣到廣泛的不可見域上，以及通過不變性方法來提取領(lǐng)域不變的特征表示，即使模型能夠?qū)W習(xí)行人最本質(zhì)的特征，通過最本質(zhì)的特征使模型能夠像人一樣舉一反三，對不可見域性能優(yōu)越。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明所要解決的技術(shù)問題是，提出一種基于不變性特征提取的領(lǐng)域泛化行人重識別方法。

本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是：

一種基于不變性特征提取的領(lǐng)域泛化行人重識別方法，該方法包括以下內(nèi)容：

構(gòu)建識別模型，所述識別模型以ResNet50網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，還包括注意力感知的不變性特征提取模塊，所述ResNet50網(wǎng)絡(luò)具有依次串聯(lián)的N個殘差單元，在前N-1個殘差單元的輸出處均連接一個注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出不接注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出連接平均池化層、批量歸一化層和全連接層；