[發明專利]一種基于部件引導圖卷積網絡的行人再識別方法

有效

• 申請號: 202010111682.9
• 申請日: 2020-02-24
• 公開（公告）號: CN111428562B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 張重;張海佳;劉爽
• 申請（專利權）人: 天津師范大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/771;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

1.一種基于部件引導圖卷積網絡的行人再識別方法，其特征在于，所述方法包括以下步驟：

步驟S1，利用預訓練深度學習模型構建特征提取模塊，將訓練行人圖像輸入所述特征提取模塊，得到所述訓練行人圖像的同一區域的P個局部特征；

步驟S2，構建圖卷積模塊，將所述訓練行人圖像的同一區域的P個局部特征作為圖的節點，構建類間局部圖、類間局部圖的鄰接矩陣、類內局部圖和類內局部圖的鄰接矩陣，利用所述圖卷積模塊對所述類間局部圖和類間局部圖的鄰接矩陣進行圖卷積操作，得到所述訓練行人圖像的同一區域的類間局部圖卷積特征，利用所述圖卷積模塊對所述類內局部圖和類內局部圖的鄰接矩陣進行圖卷積操作，得到所述訓練行人圖像的同一區域的類內局部圖卷積特征；

步驟S3，構建特征嵌入模塊，利用所述特征嵌入模塊將所述訓練行人圖像的同一區域的類間局部圖卷積特征和類內局部圖卷積特征進行串聯操作得到串聯特征，并利用獨立的全連接層對于所述串聯特征進行降維操作，得到所述訓練行人圖像的P個最終特征；

步驟S4，構建損失計算模塊，將所述訓練行人圖像的P個最終特征輸入到所述損失計算模塊中，利用得到的損失值對于由所述特征提取模塊、圖卷積模塊、特征嵌入模塊和損失計算模塊組成的行人再識別模型進行優化，得到最優行人再識別模型；

步驟S5，在測試階段，利用所述最優行人再識別模型計算得到查詢圖像和行人庫圖像的最終特征，并結合所述查詢圖像的第p個區域的可見度計算得到所述查詢圖像和行人庫圖像之間的相似度，得到行人再識別結果。

2.根據權利要求1所述的方法，其特征在于，所述步驟S1包括以下步驟：

步驟S11，確定預訓練深度學習模型，并對其進行參數初始化，去掉所述預訓練深度學習模型中最后的全局池化層和全連接層，得到所述特征提取模塊；

步驟S12，對訓練集中的訓練行人圖像進行預處理；

步驟S13，將預處理后得到的訓練行人圖像輸入所述特征提取模塊中，得到所述訓練行人圖像的預設數量的特征圖；

步驟S14，基于得到的特征圖執行平均池化得到所述訓練行人圖像的同一區域的P個局部特征。

3.根據權利要求1所述的方法，其特征在于，所述步驟S2包括以下步驟：

步驟S21，將得到的訓練行人圖像的同一區域的P個局部特征作為節點構建類間局部圖，并利用所述局部特征的相似度構建類間局部圖的鄰接矩陣；

步驟S22，將得到的訓練行人圖像的同一區域的P個局部特征作為節點構建類內局部圖，并利用所述局部特征的相鄰關系構建類內局部圖的鄰接矩陣；

步驟S23，利用所述圖卷積模塊對所述類間局部圖和類間局部圖的鄰接矩陣進行圖卷積操作，得到類間局部圖卷積特征；

步驟S24，利用所述圖卷積模塊對所述類內局部圖和類內局部圖的鄰接矩陣進行圖卷積操作，得到類內局部圖卷積特征。

4.根據權利要求3所述的方法，其特征在于，所述類間局部圖的鄰接矩陣表示為：

其中，S_p∈R^N×N，N是一個小批量訓練行人圖像的數量，表示行人圖像I_a和I_b在第p個區域上的相似度，cos_dist(·)表示余弦距離，和分別表示行人圖像I_a和I_b在第p個區域上的局部特征。

5.根據權利要求3所述的方法，其特征在于，所述類內局部圖的鄰接矩陣表示為：

T＝[t_ij]，

其中，T∈R^P×P，t_ij表示第i個區域和第j個區域的相鄰關系，當第i個區域和第j個區域不相鄰時，t_ij＝0；否則，t_ij≠0。