[發明專利]一種基于屬性特征和身份特征融合的跨域行人重識別方法

有效

• 申請號: 202110391644.8
• 申請日: 2021-04-13
• 公開（公告）號: CN113095221B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 賈召錢;殷光強;李耶;王文超;王治國
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/46;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都其高專利代理事務所(特殊普通合伙) 51244
• 代理人: 廖曾

本發明公開了一種基于屬性特征和身份特征融合的跨域行人重識別方法，采用基于屬性特征和身份特征融合的跨域行人重識別模型實現，所述基于屬性特征和身份特征融合的跨域行人重識別模型設置有卷積及池化層、4個殘差模塊，在每一個殘差模塊之后皆插入一個注意力和風格歸一化模塊，在第3個注意力和風格歸一化模塊之后引出一條屬性分支，所述屬性分支包含屬性特征提取模塊和特征融合模塊，所述屬性分支的特征提取模塊所提取到的屬性特征將與第4個所述注意力和風格歸一化模塊所得域不變全局特征進行融合；利用具有很好泛化能力和魯棒性的基于屬性特征和身份特征融合的跨域行人重識別模型進行行人重識別。

技術領域

本發明涉及計算機視覺領域中的行人重識別技術領域，具體的說，是一種基于屬性特征和身份特征融合的跨域行人重識別方法。

背景技術

行人重識別(Person re-identification，簡稱Re-ID)也稱行人再識別，是利用計算機視覺技術在跨設備、時間和地點的條件下判斷圖像或者視頻序列中是否存在特定行人的技術。因其能夠對特定人員進行大范圍跟蹤監控，當前廣泛應用于智能監控，智能安保等領域。

針對單一數據集的行人重識別問題，學者已經提出了很多的方法，也取得了很大的進展。然而針對跨域行人重識別，不同數據集往往存在著巨大的風格差異，比如亮度、色調、分辨率，背景，行人服裝風格等等，這些差異對模型的泛化能力提出了巨大的考驗。然而跨域行人重識別正是實際需求中最需要的，在實際應用中，訓練好的模型需要能在不同環境下對行人進行準確重識別。

考慮到行人屬性在任何環境下都保持不變，是一種域不變特征，可以作為跨域重識別的重要依據，然而不能僅考慮屬性，行人身份特征同樣具有辨別性，所以融合行人屬性特征和行人身份特征的綜合特征可以用于進行跨域重識別。

由于不同數據集往往存在著巨大的風格差異，比如亮度、色調、分辨率，背景，行人服裝風格等，這些差異給行人跨域重識別帶來了巨大的考驗。面對考驗，目前有些方法引入行人屬性特征作為輔助判斷。首先提取行人局部特征，利用全局信息和局部信息相結合的方式去訓練神經網絡以提升跨域行人重識別的效果。但是這些方法對屬性信息的提取和利用都比較簡單，沒有深入挖掘屬性和行人的關系，各屬性之間的關系，并且也沒能解決跨域泛化能力弱的問題。

發明內容

本發明的目的在于提供一種基于屬性特征和身份特征融合的跨域行人重識別方法，利用具有很好泛化能力和魯棒性的基于屬性特征和身份特征融合的跨域行人重識別模型進行行人重識別。

本發明通過下述技術方案實現：一種基于屬性特征和身份特征融合的跨域行人重識別方法，采用基于屬性特征和身份特征融合的跨域行人重識別模型實現，所述基于屬性特征和身份特征融合的跨域行人重識別模型設置有卷積及池化層、4個殘差模塊，在每一個殘差模塊之后皆插入一個注意力和風格歸一化模塊，其中，與卷積及池化層相連接的殘差模塊定義為第1個殘差模塊，相應的該處的注意力和風格歸一化模塊記為第1個注意力和風格歸一化模塊，后續的殘差模塊和注意力和風格歸一化模塊分別順次計數；在第3個注意力和風格歸一化模塊之后引出一條屬性分支(即AFEF模塊)，所述屬性分支包含屬性特征提取模塊和特征融合模塊，所述屬性分支的特征提取模塊所提取到的屬性特征將與第4個所述注意力和風格歸一化模塊所得域不變全局特征進行融合。

進一步的為更好地實現本發明，特別采用下述設置方式：所述跨域行人重識別方法包括下述具體步驟：

1)第3個注意力和風格歸一化模塊所提取的共用特征進入到屬性分支中；

2)在屬性分支中，先經過屬性特征提取模塊提取到屬性特征，然后，屬性特征將通過屬性分支的特征融合模塊與第4個所述注意力和風格歸一化模塊所得域不變全局特征進行融合；

3)經步驟2)后，利用三元組損失函數和交叉熵損失函數對融合后的特征進行約束，使模型學習到行人的域不變特征(行人的域不變特征指融合后的特征)。