[發明專利]一種用于視頻監控場景中行人重識別的方法

在審

• 申請號: 201710403300.8
• 申請日: 2017-06-01
• 公開（公告）號: CN107301380A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 張見威;邱隆慶;林文釗
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 羅觀祥

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種用于視頻監控場景中行人重識別的方法。

背景技術

行人重識別(Person Re-identification)起于多相機的目標追蹤研究中，旨在從其他攝像機中找出特定目標人物。行人重識別技術主要應用于安防領域，隨著近年來視頻監控系統的普及，視頻圖像成倍增長，過去完全依靠人工甄別監控視頻的偵察方式顯得效率低下，因此發展由計算機從行人中檢索匹配目標人物的行人重識別技術顯得尤為迫切。

由于監控環境復雜不可控，行人姿勢的變化等條件的限制，從視頻監控系統中獲取的行人圖像往往質量較低，依靠人臉、虹膜等生物特征來解決行人重識別收到限制，因此當前絕大部分研究人員依靠顏色、紋理等整體外觀特征實現行人重識別。然而由于監控視頻的視角、光照、遠近等變化，行人外觀常常發生很大變化，這給行人重識別帶來了巨大挑戰。

在行人重識別研究的早期，用于研究的數據集較小(幾十至數百人)，大量手工設計的特征涌現出來，如MSCR、BioCov等。這些特征大體可分為低層視覺特征和中層語義特征兩類：低層視覺特征涵蓋顏色直方圖、紋理特征和局部特征等，中層語義特征指發型、外套類型、是否背包等。同時，也有一些研究集中在上述描述子之間的距離度量，誕生了KISSME、LMNN、XQDA等度量方法。后來隨著深度學習的流行，數據集規模的增大，基于CNN(的學習模型自2014年底逐漸被引入到行人重識別領域中。這類方法避免了手工設計、選擇特征，將顏色、紋理和度量學習融合在一個統一的框架里。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種結合深度學習特征與中層語義屬性的用于視頻監控場景中行人重識別的方法，該方法通過在FT-FNN網絡中融入低層視覺特征特征、通過圖像分類數據集預訓練、行人屬性數據集微調三大手段改善了深度特征的區別能力和屬性識別的準確率。

本發明的目的可以通過采取如下技術方案達到：

一種用于視頻監控場景中行人重識別的方法，所示方法包括下列步驟：

S1、預訓練FT-FNN網絡，將FT-FNN網絡在ImageNet數據集上進行預訓練，使FT-FNN網絡獲取理想的初始值；

S2、微調FT-FNN網絡，將FT-FNN網絡的輸出層替換為節點與屬性個數一致的全連接層，實現行人屬性數據集微調，識別行人的包括中層語義屬性在內的不同屬性；

S3、提取訓練圖像深度特征和屬性特征，將訓練集圖像輸入到訓練好的FT-FNN網絡中，取其融合層的輸出作為深度特征，輸出層的輸出作為屬性特征；

S4、優化屬性權重，利用隨機梯度下降算法求解設計的目標函數，求得各屬性的相對權重，得到權重向量；同時取得深度特征與屬性特征的相對權重；

S5、提取待識別圖像屬性特征，將待識別圖像輸入到FT-FNN網絡中，通過輸出層與融合層的輸出分別得到待識別圖像的深度特征和屬性特征；

S6、提取行人庫屬性特征，將行人庫圖像輸入到FT-FNN網絡中，通過輸出層與融合層的輸出分別得到待識別圖像的深度特征和屬性特征；

S7、生成距離矩陣，根據屬性特征及權值，計算每一幅待識別圖像與行人庫中每一幅圖像之間的距離，得到距離矩陣；

S8、按序輸出匹配圖像，將結果由近到遠排序，并輸出匹配圖像。

進一步地，所述步驟S1預訓練FT-FNN網絡中，引入數據增強、dropout機制，將FT-FNN網絡輸出層節點調整為與數據集的物體類別個數一致之后，將FT-FNN網絡在ImageNet數據集上進行預訓練。

進一步地，所述步驟S2微調FT-FNN網絡中，行人屬性數據集微調通過加權交叉熵損失削弱屬性不平衡的影響：

上式中G為屬性組集合，N為該批次訓練樣本的數量，N_g為訓練集中該組屬性數量，為第i個樣本在第g個組中具有第k個屬性的樣本數量，概率為Softmax函數應用于第g個屬性組的FC8層的輸出，記表示x_i的第k個輸出，則該Softmax函數為

進一步地，所述步驟S4優化屬性權重中以匹配行人的排序期望作為目標函數并使用梯度下降法優化，計算過程如下：

使用L1范數度量帶匹配圖片I_p與行人庫圖片I_g在屬性空間的距離