[發明專利]一種多層次視覺特征描述方法和視覺檢索系統

有效

• 申請號: 201910786387.0
• 申請日: 2019-08-23
• 公開（公告）號: CN110659333B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 殷海兵;黃曉峰;賈惠柱
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/738;G06F16/783;G06F16/75;G06F16/732
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明涉及模式識別技術領域，特別涉及一種多層次視覺特征描述方法和視覺檢索系統。包括：獲得視頻流；獲取視頻濃縮流，濃縮摘要流；提取特征信息；獲取若干特征流；將若干特征流、視頻流、濃縮摘要流組合生成多層次視頻及視覺特征流；將多層次視頻及視覺特征流在云端按照特征分類存儲；云端根據終端的應用場景業務需求對云端存儲的多層次視頻及視覺特征流進行多種特征組合檢索。本發明針對應用場景需求，提供多層次視覺特征描述方法，提出一整套視頻大數據應用框架，可為不同層次檢索分析應用提供彈性解決方案。

技術領域

本發明涉及模式識別技術領域，特別涉及一種多層次視覺特征描述方法和視覺檢索系統。

背景技術

隨著平安城市、平安校園、智慧城市等建設發展，城市安防系統日益完善，視頻監控攝像頭基本遍布城市各個角落。目前全國公安行業正在進行“雪亮工程”建設：一方面通過跨平臺聯網，將公安、交通、企事業單位、校園、城鎮小區等不同行業類型視頻監控系統進行聯網，實現視頻監控大平臺；另一方面，近年來機器視覺深度學習等技術驅動的視頻分析技術，逐漸在公安、交通等行業開始落地應用，可實現視頻大數據碰撞，支持預警、決策、聯動等。

大數據背景下，視頻監控遭遇幾大困境，飛速增長的視頻監控數據使得傳統視頻監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。云計算、大數據技術的發展為安防行業發展帶來前所未有的突破，但仍面臨許多困境與挑戰。包括：(1)目前普遍采用壓縮視頻流匯聚到云端，基于GPU平臺進行智能分析，單路視頻智能分析計算消耗大、成本高；(2)在實現大范圍城市級視頻數據分析感知過程中，面臨海量攝像頭數據匯聚網絡帶寬巨大、數據存儲代價極高；(3)數據利用率低下：安防監控雖然數據量很大，但真正有用信息并不多。一方面有效信息可能只分布在一個較短時間段內，信息呈現冪率分布，往往越高密度的信息對客戶價值越大；另一方面，數據有效性體現在深層次挖掘龐大的海量數據，關聯得出有效信息。(4)智能算法性能亟待提高：目前非正面、非卡口場景目標檢測識別、高效跟蹤、行人重識別性能非常不理想，現有安防監控系統“老花眼”“近視眼”問題突出；基于傳統攝像頭解碼視頻智能分析性能更加惡化，行業急需基于原始視頻提出新的智能視頻分析技術，探索高性能目標檢測、識別跟蹤等算法。

如上分析，由于云計算是將所有數據統一匯聚到云端進行處理，存在諸如響應不及時、功耗高、網絡帶寬消耗大、存儲成本高等問題。智能邊緣前置是安防行業的必然趨勢，業界急需一整套智能視頻應用框架。

發明內容

本發明實施例提供了一種多層次視覺特征描述方法和視覺檢索系統，本發明針對應用場景需求，提供多層次視覺特征描述方法，以行人為例包含濃縮摘要流、SIFT底層視覺特征、CNN高維深度特征、行人結構化描述特征、行人關鍵點序列特征、行人步態、異常事件標識等多層次特征，提出一整套視頻大數據應用框架，可為不同層次檢索分析應用提供彈性解決方案。

根據本發明實施例的第一方面，一種多層次視覺特征描述方法，包括：

獲得視頻流；

將所述視頻流壓縮獲取視頻濃縮流，從視頻濃縮流截取摘要獲取濃縮摘要流；

將所述視頻流經過目標檢測提取特征信息；

將視頻流的特征信息進行目標追蹤、目標優選，獲取若干特征流；

將若干特征流、視頻流、濃縮摘要流組合生成多層次視頻及視覺特征流；

將多層次視頻及視覺特征流在云端按照特征分類存儲；

云端根據終端的應用場景業務需求對云端存儲的多層次視頻及視覺特征流進行多種特征組合檢索。

所述云端根據終端的應用場景業務需求可以對多層次視頻及視覺特征流采用特征匹配方法進行目標布控，并將異常事件經過云端發送給終端。