[發明專利]用于圖像或視頻中行人重識別的深度判別網絡模型方法

有效

• 申請號: 201710570245.1
• 申請日: 2017-07-13
• 公開（公告）號: CN107273872B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 王文敏;張奕豪;王榮剛;李革;董勝富;王振宇;李英;趙輝;高文
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/54;G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種用于圖像或視頻中行人重識別的深度判別網絡模型方法，通過構建深度判別網絡，將不同輸入圖像在顏色通道上進行融合拼接，將得到的拼接結果定義為不同圖像的原始差異性空間；將原始差異性空間送入卷積網絡中，通過學習原始差異性空間中的差異性信息，網絡輸出兩張輸入圖像之間的相似性，由此實現行人重識別。本發明不對單獨的圖像進行特征的學習，而是在一開始就將輸入圖像在顏色通道上進行融合拼接，利用設計好的網絡在圖像的原始空間上學習差異性信息；通過引入Inception模塊，嵌入到模型之中，能夠提高網絡的學習能力，達到更好的判別效果。

技術領域

發明涉及計算機視覺中的行人重識別領域，尤其涉及一種用于圖像或視頻中行人重識別的深度判別網絡模型方法。

背景技術

近年來，隨著人們對社會的公共安全越來越關注，視頻監控系統大量普及。諸如機場、火車站、校園和辦公大樓等公眾場所，都亟需監控，為安防保駕護航。面對海量的監控視頻數據，大量的人力需要投入到視頻信息的監控與檢索中去，這種方式的效率不僅低，還造成了額外資源浪費。如果能夠利用計算機視覺分析技術，自動化監控及分析視頻信息，必然可以極大地加快“平安城市”的建設。

行人重識別是計算機視覺的研究中關鍵的任務。一般來說，給定關于行人的一張圖片或者一段視頻，行人重識別就是在其它不重合拍攝場景下的圖片或者視頻中，將同一個人識別出來的過程。盡管相關的研究越來越受到重視，行人重識別的準確率也已經提高了不少，但仍有許多困難需要解決。由于待識別的行人圖片與原圖片拍攝于不同的相機，設備的差異會給成像條件帶來誤差；不同的場景下的環境不一，對采集的數據也會產生不同的偏差；且光照的改變會使得同一種顏色的表現不同；更重要的是，行人在攝像頭下的姿態變化以及遮擋問題，都使得對同一個人的辨別難度相當大。

近年來，由于深度學習的浪潮，卷積神經網絡被廣泛應用于行人重識別領域，通過深度網絡提取圖像特征，并且在相應的特征空間上使用深度學習或者傳統方法進行距離度量，大大提高了行人重識別的準確率。這些工作的進展皆得益于深度卷積網絡模型在特征提取上的能力，但在判別能力的探索上卻局限于給定的特征空間，也因此限制了深度模型判別能力的提高。

發明內容

為了克服上述現有技術的不足，本發明提供一種用于圖像或視頻中行人重識別的深度判別網絡模型方法，基于行人在不同圖像之間的相似性判斷過程，設計深度判別網絡模型，將輸入的兩張圖像在顏色通道上進行融合拼接，在原始的圖像差異性空間上判別圖像之間的相似性，并通過嵌入Inception模塊提高網絡的學習能力，可以有效地區分出輸入圖像是否屬于同一個人。該方法不需要對輸入圖像進行單獨特征提取，沒有傳統意義上對輸入圖像進行單獨特征提取的步驟，因此可以充分發揮深度卷積神經網絡模型在判別圖像差異性上的潛力。

本發明首先把兩張輸入圖像在顏色通道上進行融合拼接，將得到的拼接結果定義為兩個圖像的原始差異性空間，然后將得到拼接的結果送入設計好的卷積神經網絡中去，通過學習原始空間中的差異性信息，網絡最終可以給出輸入兩張圖片之間的相似性。本發明中的深度判別網絡包括產生的原始差異性空間和卷積網絡，卷積網絡包含了三個相連的卷積模塊和一個Inception模塊，緊接著一個非對稱的卷積層和全聯接層，并可利用SoftMax算法得到圖像之間的相似性。

本發明提供的技術方案是：

一種用于圖像或視頻中行人重識別的深度判別網絡模型方法，通過構建深度判別網絡，將兩張輸入圖像在顏色通道上進行融合拼接，得到拼接的結果，送入卷積網絡中，通過學習原始差異性空間中的差異性信息，所述深度判別網絡輸出兩張輸入圖像之間的相似性；由此實現行人重識別；具體過程如下：

1)設計深度判別網絡模型的結構；

本發明構建的深度判別網絡包括了原始差異性空間的產生和卷積神經網絡兩部分，其中卷積神經網絡包含了3個相連的卷積模塊和Inception模塊，緊接著一個非對稱的卷積層和全聯接層；