[發明專利]基于多區域特征提取和融合的行人再識別方法

有效

• 申請號: 201810721690.8
• 申請日: 2018-07-04
• 公開（公告）號: CN108960140B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 胡瀟;周蕓;王琳;姜竹青;門愛東
• 申請（專利權）人: 國家新聞出版廣電總局廣播科學研究院;北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

1.一種基于多區域特征提取和融合的行人再識別方法，其特征在于包括以下步驟：

步驟1、利用殘差網絡提取全局特征，并在訓練階段增加一個用于全局特征提取和優化的行人身份分類模塊；

步驟2、構造用于局部特征提取的多區域特征提取子網絡，并將各局部特征進行加權融合；

步驟3、設置包括分類模塊損失和特征融合模塊損失的損失函數；

步驟4、對網絡進行訓練，得到模型提取查詢集和測試集的特征向量；

步驟5、在度量階段，利用交叉近鄰方法對特征距離進行重新度量；

所述步驟2的具體實現方法為：

(1)假設殘差網絡的輸出特征圖為M∈R^K×H×W，其中K＝1024為特征通道數，H和W分別為特征圖的高度和寬度，對M進行兩項操作分別得到全局和局部特征表示：一是對M進行全局平均池化，得到全局特征F^g∈R^1024×1×1；二是將M水平分割為不重疊的4個條塊，分別對應行人的頭部、上身、下身、雙腳，每個分塊進行全局平均池化，得到局部特征表示：其中

(2)設置一個特征加權層，對各局部特征的權重參數進行學習，并通過反向傳播算法進行優化，其計算過程為：

其中⊙表示元素間操作，W和B分別為權重和偏置矩陣，是特征加權層的參數；

(3)將加權的局部特征與全局特征相連即可得到最終的行人特征：

其中[·]表示特征融合操作，F∈R^5120×1×1表示多區域特征向量。

2.根據權利要求1所述的基于多區域特征提取和融合的行人再識別方法，其特征在于：所述步驟1的分類模塊利用1×1卷積實現特征映射，所有神經元共享權重參數，將輸出通道數設置為行人類別數，通過訓練得到每個行人身份對應的特征圖；所述分類模塊的結構為：

大小為1×1×N的卷積層→全局平均池化層→Softmax損失層

其中，N為訓練集中行人類別數。

3.根據權利要求1所述的基于多區域特征提取和融合的行人再識別方法，其特征在于：所述步驟3的具體實現方法為：

(1)Softmax損失將訓練集的每個行人身份視為一類，計算輸入樣本x屬于類別n的概率p(n|x)：

其中n＝[1，2，...N]，N表示訓練集中行人身份數，w_i和b_i分別為卷積層的權重和偏置參數；

(2)根據輸入樣本的標簽y計算最終Softmax損失：

其中q(n|x)表示預測標簽n與真實標簽y的關系，即：

(3)將Softmax損失應用于分類模塊和特征融合模塊，則系統總體的損失函數為：L＝L_c+L_W，其中L_c和L_W分別對應于分類模塊和特征融合模塊的Softmax損失。

4.根據權利要求1所述的基于多區域特征提取和融合的行人再識別方法，其特點在于：所述步驟4對網絡進行訓練時，輸入圖像首先被統一為224×224×3像素尺寸，然后以批量大小為16輸入網絡進行訓練，迭代50000次。