[發明專利]跨相機行人重識別與跟蹤方法

在審

• 申請號: 202011106376.2
• 申請日: 2020-10-16
• 公開（公告）號: CN112200106A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 陸慧娟;王雷奇
• 申請（專利權）人: 中國計量大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F16/29;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種跨相機行人重識別與跟蹤方法，包括如下步驟：1)圖像預處理：從視頻序列中選擇出行人圖像以供行人重識別使用，通過輸入多張低分辨率行人圖像，輸出一張清晰的行人圖像供行人重識別使用；2)跨相機協同識別：進行行人圖像的特征提取，進行相機間行人圖像特征匹配；3)盲區軌跡還原與跟蹤：a、采用目標檢測方法首先對行人進行檢測，然后利用視域內的攝像頭采集到的行人的圖像輸入到GAN網絡進行還原，從而實現對目標軌跡進行持續跟蹤；b、通過地理信息系統將相機捕捉到的圖像與真實坐標進行標定，得到目標起點和重點的位置，再通過算法進行集成，得到目標可能的軌跡。本發明實現跨相機重識別和軌跡恢復和跟蹤，提升效率，從而提高準確度。

技術領域

本發明屬于人體識別技術領域，具體涉及一種跨相機行人重識別與跟蹤方法。

背景技術

20世紀末以來，隨著監控攝像機網絡大范圍應用，開放環境下跨相機目標識別作為一項重要技術越來越受到學術界的重視，準確的識別技術可為城市監控和安防系統提供有力的幫助。隨著公共安全越來越受到重視，行人重識別、跨相機目標跟蹤等也成為了熱門研究領域。

據報道，2018年中國有超過1000萬的城市監控與報警系統，每人一天被攝像頭拍到的次數超過300次。海量的數據潛在巨大的信息，利用這些信息可以在發生危害公眾安全的事件時實現實時報警和事后查詢，事發前預警。當使用人力對監控畫面進行監測時，不僅需要很大的人力物力投入，而且據美國圣地亞國家實驗室的一項研究表明，人在盯著視頻畫面22min之后便會忽視視頻畫面里95％以上的活動。基于深度學習的智能化系統可有效的避免人工疲勞和噪聲干擾等因素，跟蹤技術作為盲區走向判斷工具為監管者提供有力技術支持，從而快速準確找到需要追蹤的人物，省去大部分人力財力。但由于開放環境的天氣因素變化和行人個人因素變化，常常帶來一些識別上的困難，對數據的有效處理是非常重要的，而且近來識別算法不斷涌現，需要探索出針對人體特征提取良好的網絡，從而保證識別的精度，更好地輔助安防事業。

由于開放環境下行人識別與跟蹤問題的研究具有重要的應用價值，國內外的學者對該問題進行了大量研究。現有技術對于行人檢測、識別和跟蹤的技術主要包括以下部分：

(1)行人檢測

在行人檢測部分的重點是對于復雜環境因素的處理，通過減少環境因素對行人圖像的影響，進而提高檢測效率。在復雜環境的處理問題上，通過對原始圖像進行增強，減少光照變化所帶來的影響，從而提高識別效率。使用空間變換網絡層解決行人圖像背景的問題。有人提出了改進型嵌套池化三元組卷積神經網絡，能克服視角變化、部分遮擋、旋轉和尺度變化等對行人重識別性能的影響。基于GAN網絡提出了一個完成多場景下的冬夏季節服裝變化的解決方案。這些研究分別對光照、角度、背景變化等進行了考慮，但未考慮雨雪、大風天氣等帶來的影響。

(2)行人識別

在檢測出行人圖像之后，如何提取以及匹配特征是行人識別的主要研究內容。行人特征的描述方式有三種。一是顏色、梯度和紋理等基本的圖像特征，主要有方向梯度直方圖、局部二值模式和空間成對統計信息。二是基于學習的特征指的是通過機器學習的方法，從大量的行人樣本中學習到的行人特征表示，主要有小邊特征、邊緣模板和自適應輪廓特征。三是混合特征，指的是多種底層特征的融合,或者是底層特征的高階統計特征，主要有協方差特征、積分通道特征和粒度可調梯度分區。對于行人特征的提取和匹配，有人提出一種自動選擇特征匹配方式的機器學習算法。針對特征提取的問題，將人體分為頭部、軀干和身體三部分，分別在不同色域下提取特征并進行集成。以上研究中充分考慮了行人的各種視覺特征和匹配方法，但行人具有主觀能動性，當溫度等外界環境發生改變時會有增減衣物等動作，則會嚴重識別效果。

(3)行人跟蹤