[發明專利]一種利用姿態信息設計多損失函數的行人重識別方法

在審

• 申請號: 201710946443.3
• 申請日: 2017-10-12
• 公開（公告）號: CN107832672A
• 公開（公告）日: 2018-03-23
• 發明（設計）人: 周忠;吳威;姜那;劉俊琦;孫晨新
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,鄧治平

本發明公開了一種利用姿態信息設計多損失函數的行人重識別方法，該方法可有效解決監控視頻內行人遮擋頻繁、視頻光照差異大以及非剛性行人姿態多變所帶來的困難，在安防監控等領域具有廣泛應用。該方法主要分為兩個階段，分別是離線階段和在線階段。其中離線階段負責訓練學習高準確度的深度學習網絡模型，該階段包含預處理、關節點信息提取、提取局部特征并與主干網絡框架提取的全局特征進行特征融合，最后將融合的特征利用五元組損失函數完成訓練。在線階段則使用訓練好的深度學習網絡模型進行特征提取，從而通過相似度計算實現待分析目標與已存儲目標圖片庫之間的行人重識別。

技術領域

本發明屬于計算機視覺技術領域，更具體的講，涉及一種利用姿態信息設計多損失函數的行人重識別方法，是一種可以抵抗行人遮擋、姿態多變且能夠應用于智能監控分析系統的精準行人重識別方法。

背景技術

行人重識別技術是指在多個相機內檢索給定目標，并將檢索結果進行關聯匹配。該技術為視頻監控領域，如行人檢索，跨相機跟蹤，人機交互等應用提供基礎支持。對于海量的視頻數據的人物搜查任務，行人重識別可以極大地解放人力。然而由于相機拍攝視角不同、光照條件復雜、遮擋頻繁、非剛性行人姿態多變等原因使得行人重識別問題十分具有挑戰性。為克服這些困難，研究者們在過去的20年里提出了許多不同的解決方案。根據算法原理大致可以分為設計表達特征和優化距離度量兩類算法。

設計表達特征是指尋找對圖像外觀變化魯棒的特征。基于特征表達的方法關注如何設計具有對行人具有辨識度和對圖像變化具有穩定性的特征描述。包括顏色直方圖、紋理特征、局部特征點等低層視覺特征以及具有語義屬性的中層特征。

為了能夠有效利用空間信息，現有的方法通常將圖像劃分為不同的區域，如2006年到2013年鄭偉詩等人都曾將行人圖像從上到下分為多個水平長條。2010年Farenzena等利用圖像對稱和非對稱先驗理論，將行人圖像劃分為身體頭部、軀干和腿部三部分，以提取不同區域之間的特征組合。得益于大數據量行人重識別數據集Marker1501、MARS的出現，研究者們開始使用基于深度學習的方法表示圖像特征。2016年Cheng等人提出了一種基于局部塊的多通道的深度神經網絡框架，他們利用水平劃分的局部條帶與原圖同時提取全局與局部特征。然而由于不同相機視角以及行人姿態的變化，水平分割會產生誤對齊，反而會影響模型的準確率。基于以上考慮，本發明采用行人關節點檢測得到較為準確的局部位置，達到基于語義的對齊，為全局和局部特征互補融合提供了關鍵條件。

優化距離度量是指學習一種距離空間使得屬于同一人的圖像之間特征距離相近，屬于不同人的圖像之間特征距離遠。2009年Weinberger等人提出大間隔最近鄰分類(largemargin nearest neighbour，LMNN)，采用了三元組約束使新的度量空間中，每個樣本的k個最近的鄰居都屬于同一類。2012年，Kostinger等人提出保持簡單直接的(Keep is Simpleand Straight,KISS)的距離度量學習算法。此后逐漸有學者將距離度量與深度學習結合起來，建立驗證模型進行行人重識別。該類模型以圖像對為網絡輸入，在提取圖像特征后同時計算特征之間的距離，最終輸出圖像之間的相似度。將提取特征及相似性度量集成于一個框架內是該類模型的主要優勢。然而僅使用驗證模型，只能提取到圖片對之間的差異性特征。每張圖片自身具有的顯著性特征經常被忽略。因此本發明考慮聯合分類模型和驗證模型進行訓練，同時計算分類損失和驗證損失，并對兩者做加權以達到模型互補。

隨著深度學習在計算機視覺領域多個子問題上的普遍應用，Wei等人提出的在復雜場景中準確提取關節點信息的方法為行人重識別精確局部信息獲取提供了可能。考慮到監控視頻內的行人數據姿態變化呈現一定的規律，極少出現異常姿態，基于深度學習辦法自動提取關節點信息的算法可以應用到行人重識別問題內。因此，本發明利用該方法得到的關節信息計算人體的局部位置并且推測行人姿態朝向，其中局部位置信息可用于提取局部特征與全局特征融合，行人姿態朝向可用于設計五元組損失函數，這些信息均可以在復雜的監控環境下提高行人重識別的準確度。

發明內容