[發明專利]基于衣物脫敏網絡的多粒度換衣行人重識別方法

有效

• 申請號: 202110065609.7
• 申請日: 2021-01-18
• 公開（公告）號: CN112784728B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 高贊;魏宏偉;陳達;程志勇;舒明雷;聶禮強;王英龍
• 申請（專利權）人: 山東省人工智能研究院
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/26;G06V10/44;G06V10/56;G06V10/74;G06V10/77;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

一種基于衣物脫敏網絡的多粒度換衣行人重識別方法，針對行人換衣問題，通過衣物脫敏網絡來學習泛化的行人外觀特征，使模型在辨別行人時不依賴于衣服顏色紋理等外觀特征。利用預先生成的部件語義分割圖，與特征圖計算損失以輔助特征對齊，最大程度上防止出現背景與半身進行相似度量的情況，杜絕負優化。該方法在訓練策略上采用從粗粒度到細粒度的多級訓練方法，相比單一的全局特征可以提取更多有效的屬性信息。本文發明的基于衣物脫敏網絡的多粒度換衣行人重識別方法，在相關的換衣行人重識別數據集中達到了優異的效果。

技術領域

本發明涉及計算機視覺及深度學習領域，具體涉及一種基于衣物脫敏網絡的多粒度換衣行人重識別方法。

背景技術

行人重識別是利用計算機視覺技術判斷視頻監控所拍圖像或者視頻序列中是否存在特定行人的技術，旨在解決跨攝像頭檢索目標行人的問題，即指定一個特定的目標行人，檢索跨設備下的該目標行人圖像。行人重識別可與行人檢測、行人跟蹤技術等相結合，在城市規劃、智能監控、安全監控等方面發揮重要作用。隨著深度學習和神經網絡技術的進步，行人重識別問題在計算機視覺領域獲得更多關注。基于深度學習的行人重識別方法根據訓練損失可以分為基于表征學習的方法和基于度量學習的方法。

基于表征學習的方法是一類非常常用的行人重識別方法，它并沒有直接在訓練網絡的時候考慮圖片間的相似度，而把行人重識別任務當做分類問題或者驗證問題來看待。這類方法的特點就是網絡的最后一層全連接層輸出的并不是最終使用的圖像特征向量，而是經過一個Softmax激活函數來計算表征學習損失，前一層(倒數第二層)FC層通常為特征向量層。具體來講，分類問題是指利用行人的ID或者屬性等作為訓練標簽來訓練模型，每次只需要輸入一張圖片。驗證問題是指輸入兩張行人圖片，讓網絡來學習這兩張圖片是否屬于同一個行人。

度量學習是廣泛用于圖像檢索領域的一種方法。不同于基于表征學習的方法，基于度量學習的方法旨在通過網絡學習出兩張圖片的相似度。在行人重識別問題上，表現為同一行人的不同圖片間的相似度大于不同行人的不同圖片。具體來講，定義一個映射，將圖片從原始域映射到特征域，之后再定義一個距離度量函數，來計算兩個特征向量之間的距離。最后通過最小化網絡的度量損失，來尋找一個最優的映射，使得相同行人兩張圖片(正樣本對)的距離盡可能小，不同行人兩張圖片(負樣本對)的距離盡可能大。而這個映射就是通過訓練得到的卷積神經網絡，常用的基礎網絡有AlexNet、VGG、GoogleNet、ResNet等。

發明內容

本發明為了克服以上技術的不足，提供了一種解決傳統行人重識別方法中，無法處理行人換衣造成外觀改變的問題，通過衣物脫敏方法學習泛化的行人外觀特征解決行人換衣問題，并利用預先提取的行人部件語義分割圖與特征圖計算損失來完成特征對齊，整體訓練過程中利用多粒度的訓練策略挖掘從粗粒度到細粒度的多層次行人特征的方法。

本發明克服其技術問題所采用的技術方案是：

一種基于衣物脫敏網絡的多粒度換衣行人重識別方法，包括如下步驟：

a)通過語義分割算法對預先獲得的RGB圖像進行語義分割，得到對應圖像的部件語義分割圖像，將得到的語義分割圖作為一項標簽輸入網絡，進行監督訓練；

b)將預先獲得的RGB圖像輸入卷積神經網絡，經卷積神經網絡處理后預先獲得的RGB圖像由7×7的特征圖表示，特征通道數為1024；

c)使用8個不同權重的并列的卷積層對特征圖進行卷積操作，在空間和通道上對特征圖進行降維提特征處理，得到8個不同結果的高維度的特征圖，使用reshape函數將8個高維度的特征圖的對應通道連接起來，得到288個8維向量表示行人單一屬性，通過公式使用非線性擠壓函數對每個向量的長度進行標準化處理，為第k個8維向量，k∈[1,288]，通過公式計算由288個8維向量與權重矩陣w_k相乘得到1024個24維向量為實數空間，通過公式對24維向量進行耦合計算，得到的耦合計算結果對每一個行人類別做對應的向量表示，每個行人類別數為N，n∈[1,N]，為耦合系數；