[發(fā)明專利]基于多視角特征融合的行人重識別方法

在審

• 申請?zhí)枺?/td>: 202110314091.6
• 申請日: 2021-03-24
• 公開（公告）號: CN113688856A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計）人: 姜竹青;徐崟淞;裴江波;門愛東;王海嬰
• 申請（專利權(quán)）人: 北京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及基于多圖像特征融合的行人重識別方法，屬于計算機視覺的圖像檢索領(lǐng)域。第一步，利用深度卷積網(wǎng)絡對測試集行人圖像進行原始的特征提取；第二步，計算特征間的相似度，利用k互近鄰構(gòu)造圖；第三步，沿著圖進行信息傳遞，將聚合的特征與原始特征相結(jié)合；第四步，計算檢測圖像與待檢測集的相似度，排序得到重識別結(jié)果。本發(fā)明設(shè)計合理，考慮到了不同圖像間的信息交互，提高了特征的魯棒性，從而提高了識別的準確率。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和行人重識別領(lǐng)域，特別是一種基于多圖像特征融合的行人重識別方法。

背景技術(shù)

監(jiān)控網(wǎng)絡部署的逐步擴大造成了海量的視頻數(shù)據(jù)需要分析和處理。使用傳統(tǒng)人工方式進行處理需要大量的人力與時間。現(xiàn)在越來越多的研究人員將研究方向轉(zhuǎn)移到了計算機視覺技術(shù)，嘗試利用計算機技術(shù)輔助工作人員進行檢索和分析，從而提高數(shù)據(jù)處理的速度與精度。近些年來，深度學習的迅速發(fā)展，計算機處理海量數(shù)據(jù)的能力不斷提高。在各類計算機視覺的研究中，越來越多的研究人員將研究重點放在了卷積神經(jīng)網(wǎng)絡上。其中就包括對于監(jiān)控視頻的處理與分析，行人重識別作為圖像檢索的子問題之一就是其中的一個分支。

行人重識別是指在不同的攝像頭視角下，檢索指定的行人。實際場景的監(jiān)控網(wǎng)絡包含著處于不同位置的多個攝像頭，這些攝像頭的拍攝范圍往往是不重疊的。其中目標行人的活動軌跡跨越多個攝像頭，在時空上具有不連續(xù)性。傳統(tǒng)的針對單一視角的目標檢測和識別技術(shù)在這種場景中效果有限，因此需要可以處理跨視角圖像的計算機視覺技術(shù)對監(jiān)控視頻進行分析。然而行人重識別的主要目的是檢索在不重疊攝像頭下的行人圖像，所以其作為處理監(jiān)控數(shù)據(jù)的重要技術(shù)得到了工業(yè)界與學術(shù)界的廣泛關(guān)注。該技術(shù)可以利用行人在不同攝像頭下的出現(xiàn)與否，建立移動軌跡，實現(xiàn)跨攝像頭的跟蹤。另外，行人重識別在智能商業(yè)領(lǐng)域也有廣泛的應用前景，包括消費者行為分析，興趣分析等，輔助商家進行商業(yè)決策。

除了在工業(yè)上具有應用價值，行人重識別在學術(shù)界也是一個具有挑戰(zhàn)性的課題。許多研究人員在行人重識別課題的研究上投入大量的精力。與人臉識別關(guān)注面部不同，行人重識別更注重通過行人的整體外觀(包括軀干、服飾等)進行信息提取。研究者通過更魯棒的特征提取算法與度量算法，提高行人重識別的準確率，進而啟發(fā)相關(guān)技術(shù)的研究，推動計算機視覺領(lǐng)域的發(fā)展。盡管目前通過深度學習網(wǎng)絡與大規(guī)模數(shù)據(jù)集為行人重識別帶來了巨大的進展，但是由于視角變化，遮擋等現(xiàn)象，行人重識別仍然是一項具有挑戰(zhàn)的課題。

目前行人重識別的研究可以分為特征學習與度量學習兩個部分。前者將行人重識別視作分類問題，設(shè)計深度神經(jīng)網(wǎng)絡，將行人身份作為標簽訓練模型，得到對身份具有魯棒性的特征表示。后者主要將圖像間的相似度作為度量，設(shè)計損失函數(shù)，如三元損失等，通過計算正負樣本圖像對的相似度，使得同身份的行人圖像的相似度小于不同身份的行人圖像。從本質(zhì)上來說，兩種方法均對于每一張圖像生成一個描述符。

在實現(xiàn)本申請的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有方法存在以下技術(shù)問題。目前的行人重識別方法使用卷積神經(jīng)網(wǎng)絡(CNN)生成描述符。然而，這些算法受到CNN的限制，提取的特征只包含單個圖像的信息，然而行人重識別中，數(shù)據(jù)集采集自不同的攝像頭視角。不同視角下對同一個人的觀察不完全相同，比如背包只能從身后看到，所以即使是統(tǒng)一行人的后視圖與正視圖會被賦予較低的相似度。因此僅僅單個圖像的信息的會使得生成的描述符魯棒性不足。不同攝像頭間的信息存在偏差，該偏差降低了模型的匹配結(jié)果的準確率。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，充分考慮不同攝像頭之間信息的差異，提出一種基于多視角特征融合的行人重識別方法，利用消息傳遞，將同一個行人多個圖像的信息相融合，減小信息偏差的影響,從而得到更加魯棒的特征表示。

本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實現(xiàn)的：

步驟1、將測試集全部圖像輸入深度卷積網(wǎng)絡，經(jīng)過全局池化，對行人圖像進行初步的特征提取，輸出原始視覺特征，該特征由單個圖像提取得到，表示該行人在當前單個攝像頭下的視覺信息；