[發明專利]基于域不變特征的跨域行人重識別裝置及其方法

有效

• 申請號: 202110391720.5
• 申請日: 2021-04-13
• 公開（公告）號: CN113221656B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 殷光強;王文超;李耶;賈召錢;游長江
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都其高專利代理事務所(特殊普通合伙) 51244
• 代理人: 廖曾

本發明公開了基于域不變特征的跨域行人重識別裝置及其方法，由于實例歸一化可以將原始進行歸一化，減少樣本間差異，但同時會過濾掉一些行人身份相關信息和行人重識別判別信息。為解決這一問題，本發明提出了注意力和風格歸一化模塊用于恢復所丟失行人身份相關信息和行人重識別判別信息；具體實現時，在域不變特征提取網絡的殘差模塊之后設置跨域行人重識別裝置（即注意力和風格歸一化模塊ASN），用于恢復所丟失行人身份相關信息和行人重識別判別信息，以便將最后輸出的圖像域不變特征用于后續的分類器中進行行人重識別。

技術領域

本發明涉及計算機視覺領域中的行人重識別技術領域，具體的說，是基于域不變特征的跨域行人重識別裝置及其方法。

背景技術

行人重識別也稱行人再識別，是利用計算機視覺技術在跨設備、時間和地點的條件下判斷圖像或者視頻序列中是否存在特定行人的技術。因其能夠對特定人員進行大范圍跟蹤監控，當前廣泛應用于智能監控，智能安保等領域。

對于如何提高行人重識別模型的性能，已經提出了很多的方法。在最新研究中行人重識別算法的性能已經達到很高，然而如此強大的性能是建立在使用單域的基礎上。一旦將這些訓練好的模型放在不同數據集上進行測試時，其性能就會大幅下降。不同域之間往往存在著巨大的差異，比如亮度、色調、分辨率，背景，行人服裝風格等等，這些差異對模型的泛化能力提出了巨大的考驗。降低不同域之間的差異性可以提高行人重識別算法的跨域性能。

目前，降低不同域之間差異性的方法主要有三種：第一種是去除數據集之間的風格差異，風格遷移中常用的實例歸一化(IN)對每個樣本和每個通道進行歸一化，減少樣本間的風格差異，提高模型的泛化能力。但是將每個樣本進行獨立的歸一化不可避免地會丟失一些樣本間的共性和一些有辨別性的信息，這對重識別是極其不利的。第二種是無監督域自適應(UDA)方法，基于UDA的行人重識別方法可以大致分為三類：風格轉移、屬性識別和目標域偽標簽估計。UDA模型使用未標記的目標域數據進行更新，解放了標記工作。然而，這需要目標數據的收集和模型更新，增加了額外的成本。第三種是領域泛化(DG)，DG旨在設計可推廣到以前未見過的領域的模型，無需訪問目標領域數據和標簽，也無需更新模型。然而，行人重識別是一個開放集問題，其中目標域通常與源域有不同的實體，因此一般的DG方法不能直接應用于行人重識別。

由于不同數據域之間必然存在域差異，所以目前許多先進的重識別算法雖然在單個數據集上測試時能取得很好的表現，但是其泛化到另一個數據域的能力卻很差。為了盡量提高模型的泛化能力，近幾年出現了許多跨域行人重識別方法，力求使模型更好的適應目標域。通常的做法是先收集一部分目標域的數據，使用某種聚類算法將提取到的特征進行聚類生成偽標簽。最后利用生成的偽標簽訓練模型，更新模型參數，迭代進行上述步驟直至收斂。雖然許多跨域行人重識別方法確實有效提升了模型的泛化能力，但是目標域數據的收集同樣是費時費力的，在實際應用中甚至根本無法收集目標域的數據。

現有技術針對跨域行人重識別的方法，提出了一種使用結合實例歸一化(IN)和批量歸一化(BN)優勢的IBN-Net的方法。通常實例歸一化用于處理底層視覺任務，比如圖像風格化，而批量歸一化用于處理高層視覺任務，比如目標檢測，圖像識別等。IBN-Net首次將實例歸一化和批量歸一化集成起來，同時提高了模型的學習能力和泛化能力。方法如下：

IBN-Net設計原則是：(1)在網絡的淺層同時使用實例歸一化和批量歸一化；(2)在網絡的深層僅僅使用批量歸一化。

如圖1所示，IBN-Net有兩種結合實例歸一化和批量歸一化的方式，IBN-a和IBN-b。作為提升跨域行人重識別泛化能力的結構，IBN通常加在殘差網絡(ResNet)中。ResNet由4組殘差塊組成，在IBN-Net的改進中，僅僅在Conv2_x,Conv3_x,Conv4_x三個塊中加入IN，Conv5_x不進行改動。

發明內容