[發明專利]基于多區域特征提取和融合的行人再識別方法

有效

• 申請號: 201810721690.8
• 申請日: 2018-07-04
• 公開（公告）號: CN108960140B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 胡瀟;周蕓;王琳;姜竹青;門愛東
• 申請（專利權）人: 國家新聞出版廣電總局廣播科學研究院;北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

本發明涉及一種基于多區域特征提取和融合的行人再識別方法，利用殘差網絡提取全局特征，并在訓練階段增加一個用于全局特征提取和優化的行人身份分類模塊；構造用于局部特征提取的多區域特征提取子網絡，并將各局部特征進行加權融合；設置包括分類模塊損失和特征融合模塊損失的損失函數；對網絡進行訓練，得到模型提取查詢集和測試集的特征向量；在度量階段，利用交叉近鄰方法對特征距離進行重新度量。本發明設計合理，有效結合了全局特征和局部特征，在距離度量方法上進行優化，獲得了很好的行人再識別結果，使得系統整體匹配準確率大大提升。

技術領域

本發明屬于計算機視覺行人再識別技術領域，尤其是一種基于多區域特征提取和融合的行人再識別方法。

背景技術

隨著視頻采集技術不斷進步以及大規模數據存儲技術快速發展，使得大量的監控攝像系統應用在公共場所成為可能。對海量監控視頻中的行人進行識別和處理呈現快速發展的趨勢，僅依靠人眼識別監控畫面中的行人身份顯然十分低效，行人再識別技術的任務便是依靠計算機視覺技術解決不重疊監控視野中行人身份匹配的問題。

傳統的解決方法主要有兩大類：一是特征提取，即根據監控視頻里的行人提取魯棒性的特征表示；二是距離度量，即學習一個更具判別力的特征度量方法，使得同一行人的特征間距離更近。近年來，隨著深度學習技術的興起，卷積神經網絡被廣泛運用在行人檢測、目標跟蹤等視覺任務中，并表現出了出色的性能，因此，基于深度學習的行人再識別也成為了當前的一大趨勢。

然而，現有的卷積神經網絡大多提取整張圖片的特征，沒有充分利用圖片的局部特征，這些局部特征對于不同視角下行人的姿勢變化具有較好的魯棒性，對于區分不同行人更加有效，因此，現有的行人再識別方法整體匹配準確率不高。

發明內容

本發明的目的在于克服現有技術的不足，提出一種設計合理且匹配準確率高的基于多區域特征提取和融合的行人再識別方法。

本發明解決其技術問題是采取以下技術方案實現的：

一種基于多區域特征提取和融合的行人再識別方法，包括以下步驟：

步驟1、利用殘差網絡提取全局特征，并在訓練階段增加一個用于全局特征提取和優化的行人身份分類模塊；

步驟2、構造用于局部特征提取的多區域特征提取子網絡，并將各局部特征進行加權融合；

步驟3、設置包括分類模塊損失和特征融合模塊損失的損失函數；

步驟4、對網絡進行訓練，得到模型提取查詢集和測試集的特征向量；

步驟5、在度量階段，利用交叉近鄰方法對特征距離進行重新度量。

進一步，所述步驟1的分類模塊利用1×1卷積實現特征映射，所有神經元共享權重參數，將輸出通道數設置為行人類別數，通過訓練得到每個行人身份對應的特征圖；所述分類模塊的結構為：

卷積層(1×1×N)→全局平均池化層→Softmax損失層其中，N為訓練集中行人類別數。

進一步，所述步驟2的具體實現方法為：

⑴假設殘差網絡的輸出特征圖為M∈R^K×H×W，其中K洀愀渀倀勻為特征通道數，H和W分別為特征圖的高度和寬度，對M進行兩項操作分別得到全局和局部特征表示：一是對M進行全局平均池化，得到全局特征F^g∈R^1024×1×1；二是將M水平分割為不重疊的4個條塊，分別對應行人的頭部、上身、下身、雙腳，每個分塊進行全局平均池化，得到局部特征表示：其中

⑵設置一個特征加權層，對各局部特征的權重參數進行學習，并通過反向傳播算法進行優化，其計算過程為：

其中⊙表示元素間操作，W和B分別為權重和偏置矩陣，是特征加權層的參數；