[發明專利]一種高準確率的跨模態行人重識別方法

在審

• 申請號: 202110243887.7
• 申請日: 2021-03-05
• 公開（公告）號: CN112906605A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 張立言;杜國棟;徐旭
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳國強

本發明公開了一種高準確率的跨模態行人重識別方法，包括如下步驟：從數據集中獲取真實的監控環境下的行人視頻信息，處理得到行人圖像樣本和行人身份信息；搭建多尺度結合的雙流跨模態深度網絡，初始化網絡參數，使用行人圖像樣本，行人身份信息作為監督信息，對所述雙流跨模態深度網絡進行有監督的訓練；將感興趣行人目標query作為所述雙流跨模態深度網絡的輸入，雙流跨模態深度網絡將給出與query目標相似程度較高的行人目標列表。本發明既能同時處理兩個模態的異質樣本信息，提取樣本中的模態共有特征，又能通過全局尺度和局部尺度的特征融合形成更加具有表征能力的特征。

技術領域

本發明應用深度學習和知識引入實現高準確率的跨模態跨攝像頭行人匹配的方法，屬于計算機視覺領域。

背景技術

隨著社會的發展，道路監控系統越來越普及。由于監控攝像機的性能問題，以及監控環境條件的變化，人員識別中的人臉識別技術在跨攝像頭行人追蹤中并不能夠發揮作用，因此行人重識別課題的重要性日益凸顯[1]。行人重識別，目的在于在跨攝像頭環境下檢索篩選相同的人員目標，進而確定相應人員目標的活動軌跡[1]。同時，由于夜間攝像頭所拍攝的圖像大多是紅外圖像，與白天所拍攝的RGB圖像有所區別，用傳統的Re-ID方法難以克服兩種模態之間的模態差異，因此提出跨模態Re-ID解決上述問題[3]。

隨著監控設備的大量普及以及大數據時代的到來，行人檢索匹配在公共安全領域越來越具有重大意義。然而由于道路監控安裝的局限性以及監控設備的性能問題，傳統的人臉識別技術在道路監控下并不能夠發揮作用[1]。因此，能夠適應道路監控任務環境，并且完成跨攝像頭特定人員識別追蹤的行人重識別技術研究的必要性和重要性越來越受到重視。

目前對于行人重識別的研究主要集中在三個方面，單模態Re-ID，無監督Re-ID，以及跨模態Re-ID，此外還有去遮擋Re-ID，密集人群以及跨分辨率等多個小方向。單模態Re-ID的研究課題提出的最早，因此發展的最為完善，為后續的其他相關研究方向打下了基礎。無監督Re-ID是基于實際應用中標簽難以獲取的前提提出的研究方向，可以說是Re-ID實際應用中必須進行的處理。跨模態Re-ID是基于追蹤檢測的實際需求提出的，大多數的違法犯罪活動在夜間進行，因此夜間與白天的行人圖像之間的匹配成為一個越來越重要的課題。

單模態Re-ID已經在現有的Re-ID數據集上達到了非常高的匹配準確率，提出了許多較為魯棒的baseline。單模態Re-ID是RGB圖像在有人工標簽的情況下進行的監督訓練，其主要目的在于挖掘行人樣本中較為有區分力的細節形成樣本特征，以此提升匹配準確率。這些方法中，self-attention和基于part-level特征的方法的效果尤為突出。Self-attention在行人重識別中的做法是將行人圖像進行分塊，并利用圖像塊之間的關系以及每塊圖像在最終匹配時的權重，重塑每塊的內容，使得重塑后的圖像塊所能提供的區分能力更強。基于part-level特征的方法的做法更為直接一些，比較典型的PCB模型，就是將圖像直接進行橫向切分，利用切分之后的每一個小圖像塊代表原來的整個行人樣本，這樣的做法強迫模型更多的關注圖像的細節區域。這里的切分是基于先驗知識的切分，PCB切分了六塊，對應著人體的部位，有些方法切分為三塊，對應頭、上身、與下身。

跨模態Re-ID需要克服的問題相對于單模態Re-ID來說要多很多。除去需要提取表征能力強的樣本特征之外，還需要克服模態差異。目前多數論文[3[10]的做法是利用two-stream網絡結構對兩個模態進行分別的處理，之后再用共享層提取模態共享特征，在此基礎上提取可靠的表征。另有一些方法致力于研究模態獨有特征的作用，一種典型的做法是利用同標簽的另一模態樣本對本模態缺失特征進行填充，以此達到樣本之間的特征平衡。利用GAN也能達到類似的效果，這些方法保留原有樣本的內容，替換為另一模態的風格特征，擴充數據集，達到模態之間樣本的平衡[2]。

參考文獻：

[1]Ye,Mang.(2020).Deep Learning for Person Re-identification:A Surveyand Outlook.