[發明專利]基于區域引導和時空注意力的視頻行人重識別方法

有效

• 申請號: 201911416933.8
• 申請日: 2019-12-31
• 公開（公告）號: CN111160295B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 汪壯雄;周智恒;彭永堅;張昱晟;彭明;朱湘軍
• 申請（專利權）人: 廣州視聲智能科技有限公司;華南理工大學;廣州視聲智能股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/82;G06N3/0464
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明公開一種基于區域引導和時空注意力的視頻行人重識別方法，該方法先構建全局特征，基于時間注意力模型來計算視頻流中每一幀所提取的全局特征，聚合得到全局特征向量；構建區域特征，將提取的行人深度特征圖水平劃分為四塊，經由關鍵幀生成層生成四個區域各自的引導幀去提取對應的區域特征，結合時空注意力模型計算獲得區域特征向量；待識別行人視頻流的特征向量由全局特征向量和區域特征向量結合獲得，與選定地理區域的視頻圖像的行人的特征向量對比，得到距離最小的行人目標視頻流并輸出最終重識別匹配結果。本發明能夠解決行人視頻圖像成像質量差，細節損失嚴重，行人部位缺失而特征提取困難導致的視頻行人重識別準確率不高的問題。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于區域引導和時空注意力的視頻行人重識別方法。

背景技術

隨著人工智能領域、計算機視覺和硬件技術的不斷發展，視頻圖像處理技術已經廣泛應用于智慧城市系統、公安安防系統中。

行人重識別技術(Person?Re-identification)也稱行人再檢索，簡稱為Re-ID。這是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。一般地，在監控攝像頭所拍攝的監控視頻中，由于攝像頭分辨率通常較低，很難得到高質量清晰的人臉圖片。這時人臉識別可能會失效，那么Re-ID就成為了一個非常重要的替代品技術。由于不同攝像頭所拍攝的角度、光照、色差等條件會不同，因此，如何跨攝像頭檢索出同一行人圖片就成為了Re-ID的關鍵。

大多已有的視頻行人重識別問題算法是把視頻流每一幀編碼成一個向量，然后聚合所有的幀向量提取時間信息得到整個視頻流的特征嵌入。但是在實踐中，檢測到的行人可能會被部分遮擋或者部位沒有對齊，導致提取的特征表達力不強。

發明內容

本發明提出一種基于區域引導和時空注意力的視頻行人重識別方法，能夠使用視頻流中各個區域中的關鍵幀引導提取特征向量，解決實際過程中行人視頻圖像成像質量差，細節損失嚴重，能夠很好地對抗部位遮擋和不對齊，利用時空注意力機制有效提取視頻序列中的時間和空間信息，很好地提高在復雜條件下的重識別準確率，并提高系統的魯棒性。

為了解決上述技術問題，本發明實施例提供了一種基于區域引導和時空注意力的視頻行人重識別方法，包括：

S1、使用ResNet50結構構造主干網絡，作為視頻流的特征圖提取器；

S2、構建全局特征提取分支，基于時間注意力模型來計算視頻流中每一幀所提取的全局特征的聚合表示，得到全局特征特征向量；

S3、構建區域特征提取分支，將主干網絡ResNet50提取的行人深度特征圖水平劃分為四塊，經由關鍵幀生成層生成四個區域各自的關鍵幀并將其作為引導幀去提取對應的區域特征，拼接后結合時空注意力模型計算區域特征的聚合表示，得到區域特征向量；

S4、根據步驟S2和S3獲取待識別行人視頻流的全局特征向量和區域特征向量，拼接后作為將待識別行人視頻流的特征向量，與選定地理區域范圍內的視頻圖像的行人的特征向量對比，比較得到距離最小的行人目標視頻流并輸出最終重識別匹配結果。

優選地，所述S1中視頻流輸入格式為：

視頻流由有序的一組采樣幀表示Iⁿ(n＝1...N)，其中每一幀圖像檢測的都是同一個行人，圖像為256*128(長*寬)的RGB圖像。

優選地，所述主干網絡ResNet50具體結構如下：

原始ResNet50結構截去通道數為2048的卷積塊以及最后的全連接層，具體為：