[發明專利]一種高準確率的跨模態行人重識別方法

在審

• 申請號: 202110243887.7
• 申請日: 2021-03-05
• 公開（公告）號: CN112906605A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 張立言;杜國棟;徐旭
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳國強

1.一種高準確率的跨模態行人重識別方法，其特征在于：包括如下步驟：

步驟1，從數據集中獲取真實的監控環境下的行人視頻信息，對整段的行人視頻信息進行預處理得到行人圖像樣本，將視頻中的關鍵行人圖像進行截取并標記相應的行人身份信息；

步驟2，搭建多尺度結合的雙流跨模態深度網絡，初始化網絡參數，使用步驟1中得到的行人圖像樣本，行人身份信息作為監督信息，對所述雙流跨模態深度網絡進行有監督的訓練，訓練結束后，根據最終的訓練效果，對雙流跨模態深度網絡中的超參數進行微調，并固定網絡參數；

步驟3，將感興趣行人目標query作為所述雙流跨模態深度網絡的輸入，雙流跨模態深度網絡將給出與query目標相似程度較高的行人目標列表，相似性從高到低，操作者根據行人目標列表，找到其中的同身份行人目標，進行行人追蹤。

2.根據權利要求1所述的高準確率的跨模態行人重識別方法，其特征在于：所述步驟一中，預處理后的行人圖像樣本包括包含行人身體樣貌特征的圖像本身、圖像樣本對應的行人身份信息、以及行人圖像樣本原本的視頻序列信息。

3.根據權利要求1所述的高準確率的跨模態行人重識別方法，其特征在于：所述步驟1中，數據集為SYSU-MM01真實數據集。

4.根據權利要求1所述的高準確率的跨模態行人重識別方法，其特征在于：所述步驟2中，雙流跨模態深度網絡使用pytorch模型庫中的在ImageNet上進行過預訓練的ResNet-50作為骨架網絡；雙流跨模態深度網絡分為local分支和global分支，每個分支都包含雙流結構，用以處理兩個模態的樣本特征。

5.根據權利要求4所述的高準確率的跨模態行人重識別方法，其特征在于：所述步驟2中，Global分支中將ResNet-50中的layer0部分作為雙流的結構，后面的layer1至layer4作為共享參數的網絡結構；雙流部分不共享參數，分別提取兩個模態的特征，保留部分模態特征信息，共享參數網絡部分提取兩種不同模態樣本的模態共享特征，并繼續利用共享特征進行后續的優化操作；后續的優化操作包括：利用線性層將所提取的特征進行降維，減少模型參數量，降低計算負擔，得到最終的特征之后，利用難負樣本三元組損失和交叉熵損失對特征空間進行優化，交叉熵損失用于優化模態內的樣本關系，三元組損失用于優化模態間的樣本關系；

Local分支包括兩個子分支，分別對樣本進行了三塊及六塊的切分；Local分支的雙流結構為將ResNet-50的所有層均不進行參數共享，保留更多的模態特征，在backbone后利用global average pooling層將樣本特征進行水平分割，切分為三塊的對應人體的頭部、上半身及下半身，六塊的則對應更為精細的人體部位；兩個模態樣本的特征經過切割之后進行連接，并進入共享參數的線性層進行降維，之后所切分的每一個特征塊單獨進行目標函數的優化；其中，采用交叉熵函數優化模態內的特征空間；引入基于簇中心的目標函數，利用同身份樣本的簇中心實現同身份樣本距離更近，異特征樣本距離更遠的優化目標；

在最終的匹配檢測階段，所有的local分支的特征以及global分支的特征會被連接以形成一個更具有表征區分能力的描述子。