[發明專利]基于PTGAN區域差距與多重分支的行人重識別檢測方法及裝置

有效

• 申請號: 201910272907.6
• 申請日: 2019-04-04
• 公開（公告）號: CN110110755B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 張斯堯;謝喜林;王思遠;黃晉;蔣杰;張誠
• 申請（專利權）人: 長沙千視通智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 長沙德恒三權知識產權代理事務所(普通合伙) 43229
• 代理人: 徐仰貴

本發明公開了一種基于PTGAN區域差距與多重分支相結合的行人重識別檢測算法及裝置，該算法具體步驟如下：首先將普通視頻圖像進行PTGAN處理，實現行人前景不變的前提下實現背景差異區域的遷移；再基于PTGAN算法進行背景差異區域遷移處理后的圖像采用全局和多個分支聯合訓練；最后根將待識別圖像的特征向量與有效地理區域范圍內的視頻圖像的行人的特征向量對比，搜索出相似度最高的行人目標圖像并輸出最終重識別系統模型。本發明算法可提高復雜條件下的重識別準確率、提高系統的魯棒性以及降低視頻圖像在復雜條件下標注新的訓練樣本的昂貴代價。

技術領域

本發明涉及計算機視覺和智慧城市領域，具體涉及一種基于PTGAN區域差距與多重分支相結合的行人重識別檢測方法及裝置。

背景技術

隨著人工智能、計算機視覺和硬件技術的不斷發展，視頻圖像處理技術已經廣泛應用于智能城市系統中。

行人重識別(Person Re-identification)也稱行人再識別，簡稱為Re-ID。是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。廣泛被認為是一個圖像檢索的子問題。給定一個監控行人圖像，檢索跨設備下的該行人圖像。在監控視頻中，由于相機分辨率和拍攝角度的緣故，通常無法得到質量非常高的人臉圖片。當人臉識別失效的情況下，Re-ID就成為了一個非常重要的替代品技術。Re-ID有一個非常重要的特性就是跨攝像頭，所以檢索出不同攝像頭下的相同行人圖片就成為了Re-ID的關鍵。

雖然行人重識別的檢測能力已經顯著提升，但是在實際場合中很多具有挑戰性的問題還沒被完全解決：比如在復雜的場景，光線差異，視角和姿勢的改變，大量的行人在一個監控攝像頭網絡中等情況。在這些情況下，跨攝像頭的檢索通常難度會很大，同時前期進行視頻圖像樣本訓練時的標注工作代價昂貴，需要耗費大量的人力，并且往往現有算法通常無法達到預期效果，重識別準確率較低。

發明內容

本發明的主要目的是提供一種基于PTGAN區域差距與多重分支相結合的行人重識別檢測方法及裝置，旨在解決在實際復雜的場景中，跨攝像頭的檢索通常難度會很大，同時前期進行視頻圖像樣本訓練時的標注工作代價昂貴，需要耗費大量的人力，并且往往現有算法通常無法達到預期效果，重識別準確率較低的問題。

為實現上述目的，本發明提供一種基于PTGAN區域差距與多重分支相結合的行人重識別檢測方法，具體步驟如下：

S1、將普通視頻圖像進行PTGAN處理，得到待識別的圖像，所述待識別的圖像為行人前景不變且背景差異區域遷移的圖像；

S2、將所述待識別的圖像采用多個分支聯合訓練，具體的步驟如下：

S2.1將所述待識別的圖像輸入訓練模型，獲取多個分支對應的特征向量，具體如下：給定輸入的處理過后的行人圖像，RAM則生成一組功能向量，具體為五個共享卷積層生成特征映射M，然后，M被饋送到四個分支以生成不同的特征，四個分支包括全局分支、BN分支、屬性分支和局部區域分支；

S2.2局部特征提取，使用局部區域分支來生成區域特征，具體如下：局部區域分支將特征映射M從上到下均勻地劃分為K個重疊的局部區域，同時使用重疊區域來增強學習特征對可能的未對準或視點變化的魯棒性，在每個區域之后嵌入池化層后應用FC層以從它們中的每一個生成區域特征，使用具有行人身份信息ID標簽的分類任務來監督每個區域特征學習；

S2.3屬性特征提取，屬性分支將全局分支中第一個FC層的輸出作為輸入，然后由FC層生成屬性特征，最后，在屬性分類任務中學習屬性特征；

S2.4特征向量模型訓練，將行人正面和背面特征當成兩個不同類別訓練，重復上述S2.1、S2.2和S2.3訓練過程并形成特征向量；RAM的每個分支都通過具有softmax損失的單獨分類任務進行訓練，并且通過逐次添加全局分支、BN分支、屬性分支和局部區域分支進行模型訓練，以訓練出滿足需要的特征向量模型；