[發明專利]一種基于部件引導圖卷積網絡的行人再識別方法

有效

• 申請號: 202010111682.9
• 申請日: 2020-02-24
• 公開（公告）號: CN111428562B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 張重;張海佳;劉爽
• 申請（專利權）人: 天津師范大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/771;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

本發明實施例公開了一種基于部件引導圖卷積網絡的行人再識別方法，該方法包括：構建特征提取模塊，得到訓練行人圖像同一區域的局部特征；構建圖卷積模塊，得到訓練行人圖像同一區域的類間和類內局部圖卷積特征；構建特征嵌入模塊得到兩者的串聯特征及降維之后的最終特征；構建損失計算模塊，利用損失值對于由上述模塊組成的行人再識別模型優化，得到最優行人再識別模型；利用最優行人再識別模型計算查詢圖像和行人庫圖像的最終特征計算圖像之間的相似度，得到行人再識別結果。本發明充分利用卷積神經網絡和圖卷積網絡的優勢，學習行人圖像的類間局部關系和類內局部關系，最終融合圖卷積特征來表示行人圖像，進一步提高了行人再識別的匹配正確率。

技術領域

本發明屬于計算機視覺、模式識別、人工智能領域，具體涉及一種基于部件引導圖卷積網絡的行人再識別方法。

背景技術

近年來，行人再識別廣泛應用在人體行為分析，多目標識別等領域，因此得到了學術界和工業界的廣泛關注。它主要研究在不同攝像機下搜索相同行人的方法。然而由于真實場景中行人姿態、衣著、光照以及攝像機角度變化較大，使得行人再識別技術面臨巨大的挑戰。

最近，基于部件信息的行人再識別模型性能取得了顯著的提升，一些研究人員通過將行人圖像或者特征圖劃分為均勻區域來提取行人的結構信息。Sun等人將特征圖劃分為一些均勻條并將其池化，從而獲得局部特征。Quan等人設計了一個區域-感知模塊來學習行人結構信息，該方法首先將特征圖劃分為若干區域，然后采用注意力機制來學習更詳細的區域信息。然而，這些直接劃分策略容易造成匹配不精準，因此，Wei等人借助姿態檢測技術定位人體四個關鍵點，然后將行人圖像分為三個區域，從而校準局部區域。Guo等人利用人體分析模型來獲得語義區域掩膜，然后使用人體區域分支來提取區域對齊特征。除此之外，為了充分利用全局特征和局部特征的優點，一些研究者將其融合來表示行人圖像。Li等人設計了聯合學習多損失卷積神經網絡模型，從而提取全局和局部特征，然后利用聯合學習機制來學習局部和全局特征之間的互補信息。Zheng等人提出粗糙-精細金字塔，從而捕捉不同尺度的判別信息，并利用判別損失和三元組損失來學習全局和多尺度局部特征。

以上這些基于區域的行人再識別方法忽視了行人圖像間同一區域的類間局部關系和行人圖像內不同區域的類內局部關系，削弱了局部特征的表示能力。

發明內容

本發明的目的是要解決行人圖像間同一區域的類間局部關系和行人圖像內不同區域的類內局部關系無法有效學習的技術問題，為此，本發明提供一種基于部件引導圖卷積網絡的行人再識別方法。

為了實現所述目的，本發明提出的一種基于部件引導圖卷積網絡的行人再識別方法包括以下步驟：

步驟S1，利用預訓練深度學習模型構建特征提取模塊，將訓練行人圖像輸入所述特征提取模塊，得到所述訓練行人圖像的同一區域的P個局部特征；

步驟S2，構建圖卷積模塊，將所述訓練行人圖像的同一區域的P個局部特征作為圖的節點，構建類間局部圖、類間局部圖的鄰接矩陣、類內局部圖和類內局部圖的鄰接矩陣，利用所述圖卷積模塊對所述類間局部圖和類間局部圖的鄰接矩陣進行圖卷積操作，得到所述訓練行人圖像的同一區域的類間局部圖卷積特征，利用所述圖卷積模塊對所述類內局部圖和類內局部圖的鄰接矩陣進行圖卷積操作，得到所述訓練行人圖像的同一區域的類內局部圖卷積特征；

步驟S3，構建特征嵌入模塊，利用所述特征嵌入模塊將所述訓練行人圖像的同一區域的類間局部圖卷積特征和類內局部圖卷積特征進行串聯操作得到串聯特征，并利用獨立的全連接層對于所述串聯特征進行降維操作，得到所述訓練行人圖像的P個最終特征；

步驟S4，構建損失計算模塊，將所述訓練行人圖像的P個最終特征輸入到所述損失計算模塊中，利用得到的損失值對于由所述特征提取模塊、圖卷積模塊、特征嵌入模塊和損失計算模塊組成的行人再識別模型進行優化，得到最優行人再識別模型；