[發明專利]基于多時空注意力模型的視頻行人重識別方法及裝置

有效

• 申請號: 201910273362.0
• 申請日: 2019-04-04
• 公開（公告）號: CN110110601B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 張斯堯;謝喜林;王思遠;黃晉;蔣杰;張誠
• 申請（專利權）人: 深圳久凌軟件技術有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06V10/80;G06V10/82;G06V10/74;G06N3/0455;G06N3/047;G06N3/08
• 代理公司: 長沙德權知識產權代理事務所(普通合伙) 43229
• 代理人: 徐仰貴

本發明公開一種基于多時空注意力模型的視頻行人重識別方法及裝置，該算法首先利用多空間注意力模型來定位判別視頻圖像行人區域；再結合時間注意力模型來計算由每個空間注意力模型提取的特征的聚合表示，并進行行人重識別損失函數補償；最后將待識別圖像的特征向量與有效地理區域范圍內的視頻圖像的行人的特征向量對比，搜索出相似度最高的行人目標圖像并輸出最終重識別匹配結果。本發明算法能解決針對實際過程中，行人視頻圖像成像質量差，細節顯示不清楚，行人部分有用信息被遮擋而特征提取困難導致的視頻監控系統重識別準確率不高等問題，并使算法滿足實時性需求。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于多時空注意力模型的視頻行人重識別方法及裝置。

背景技術

隨著人工智能、計算機視覺和硬件技術的不斷發展，視頻圖像處理技術已經廣泛應用于智能城市系統中。

行人重識別(Person?Re-identification)也稱行人再識別，簡稱為Re-ID。是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。在監控視頻中，由于相機分辨率和拍攝角度的緣故，通常無法得到質量非常高的人臉圖片。當人臉識別失效的情況下，Re-ID就成為了一個非常重要的替代品技術。Re-ID有一個非常重要的特性就是跨攝像頭，所以檢索出不同攝像頭下的相同行人圖片就成為了Re-ID的關鍵。

大多現存的解決視頻行人重識別問題的方法是把每一幀編碼成一個向量，然后對所有的幀向量進行聚合得到視頻序列的特征嵌入。在實踐中，行人經常被部分遮擋，這樣就破壞了提取的特征。并且基于視頻的行人重識別Re-ID，如果全部利用所有的幀，會因為有很多質量不好的圖片(遮擋，光照等因素)對深度學習出來的特征影響很大。從而影響行人重識別的準確率，增加系統的計算量的同時使系統魯棒性也變差。

針對這些問題，本發明提出一種基于多時空注意力模型的視頻圖像行人重識別算法。本發明算法能夠自動地使用視頻序列中條件最好的幀中的路徑學到面部、軀干以及身體其他部分的特征，能夠很好地對抗遮擋和不對齊，有效提取所有幀中的有用信息，能夠很好的提高行人重識別系統在復雜條件下的重識別準確率、并提高系統的魯棒性。

發明內容

本發明的主要目的是提供一種基于多時空注意力模型的視頻行人重識別方法及裝置，旨在目前視頻行人識別系統在實踐時，行人經常被部分遮擋，這樣就破壞了提取的特征，并且基于視頻的行人重識別Re-ID，如果全部利用所有的幀，會因為有很多質量不好的圖片(遮擋，光照等因素)對深度學習出來的特征影響很大，從而影響行人重識別的準確率，增加系統的計算量的同時使系統魯棒性也變差的問題。

為實現上述目的，本發明提供一種基于多時空注意力模型的視頻行人重識別方法，包括以下步驟：

S1基于多空間注意力模型來定位判別視頻圖像行人區域；

S2基于時間注意力模型來計算由每個空間注意力模型提取的特征的聚合表示，并將聚合表示連接成最終的特征向量；

S3根據步驟S1和S2獲取待識別圖像的特征向量，將待識別圖像的特征向量與有效地理區域范圍內的視頻圖像的行人的特征向量對比，搜索出相似度最高的行人目標圖像并輸出最終重識別匹配結果。

優選地，步驟S1包括：

S1.1用約束隨機抽樣策略進行視頻圖像采樣；

S1.2利用采樣的視頻圖像訓練多空間注意力模型來定位判別視頻圖像行人區域。

優選地，步驟S1.1包括：

給定一個輸入視頻V，將其按照相等時間劃分為N個塊：{C_n},n＝1...N，從每個塊Cn中隨機地對圖像In進行采樣，視頻由有序的一組采樣幀表示{I_n},n＝1...N。

優選地，步驟S1.2包括：