[發明專利]一種多層次視覺特征描述方法和視覺檢索系統

有效

• 申請號: 201910786387.0
• 申請日: 2019-08-23
• 公開（公告）號: CN110659333B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 殷海兵;黃曉峰;賈惠柱
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/738;G06F16/783;G06F16/75;G06F16/732
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種多層次視覺特征描述方法，其特征在于，包括：

獲得視頻流；

將所述視頻流壓縮獲取視頻濃縮流，從視頻濃縮流截取摘要獲取濃縮摘要流；

將所述視頻流經過目標檢測提取特征信息；

將視頻流的特征信息進行目標追蹤、目標優選，獲取若干特征流；

將若干特征流、視頻流、濃縮摘要流按照AVS工作組數字視網膜工作組制定的標準生成多層次視頻及視覺特征流，所述多層次視頻包括視頻流、若干特征流、濃縮摘要流三個層次，視覺特征流包括步態特征流、CDVS特征流、reID深度特征流、人臉ID特征流、車牌特征流、人體屬性特征流、車輛特征流、關鍵點序列特征流中的一種或多種層次的視覺特征流；

將多層次視頻及視覺特征流在云端按照特征分類存儲；

云端根據終端的應用場景業務需求對云端存儲的多層次視頻及視覺特征流進行多種特征組合檢索。

2.如權利要求1所述的一種多層次視覺特征描述方法，其特征在于，所述云端根據終端的應用場景業務需求可以對多層次視頻及視覺特征流采用特征匹配方法進行目標布控，并將異常事件經過云端發送給終端。

3.如權利要求2所述的一種多層次視覺特征描述方法，其特征在于，在所述將若干特征流、視頻流、濃縮摘要流組合生成多層次視頻及視覺特征流后，記錄所述視頻流的若干特征流的時間和所述視頻流的攝像頭位置，將時間和位置信息添加于多層次視頻及視覺特征流。

4.如權利要求3所述的一種多層次視覺特征描述方法，其特征在于，所述若干特征流包括步態特征流、CDVS特征流、reID深度特征流、人臉ID特征流、車牌特征流、人體屬性特征流、車輛特征流、關鍵點序列特征流中的一種或多種。

5.如權利要求4所述的一種多層次視覺特征描述方法，其特征在于，所述將所述視頻流經過目標檢測提取特征信息，包括：

提取所述視頻流的數據幀，經過縮放得到固定尺寸圖片，進入多目標檢測器，檢測出行人、車輛特征信息，若圖片滿足像素分辨率和角度條件，啟用人臉和車牌檢測器檢測人臉和車牌特征信息。

6.一種多層次視覺特征的視覺檢索系統，其特征在于，包括視頻流模塊、濃縮模塊、特征信息提取模塊、特征流模塊、多層次流碼復用模塊、云端模塊、終端模塊，

視頻流模塊，用于接收攝像頭所采集的原始視頻數據和/或接收傳統攝像頭經過解碼后的視頻數據，將視頻數據轉換為視頻流；

濃縮模塊，用于將從視頻流模塊接收的視頻流經過視頻編碼得到視頻濃縮流，從視頻濃縮流截取摘要得到濃縮摘要流；

特征信息提取模塊，用于將從視頻流模塊接收的視頻流經過目標檢測得到所述視頻流中的特征信息；

特征流模塊，用于將從特征信息提取模塊接收的特征信息進行目標追蹤、目標優選得到若干特征流；

多層次流碼復用模塊，用于將從特征流模塊接收的若干特征流、從濃縮模塊接收的視頻濃縮流、濃縮摘要流按照AVS工作組數字視網膜工作組制定的標準生成多層次視頻及視覺特征流，所述多層次視頻包括視頻流、若干特征流、濃縮摘要流三個層次，視覺特征流包括步態特征流、CDVS特征流、reID深度特征流、人臉ID特征流、車牌特征流、人體屬性特征流、車輛特征流、關鍵點序列特征流中的一種或多種層次的視覺特征流；

云端模塊，用于將從多層次流碼復用模塊接收的多層次視頻及視覺特征流在云端按照特征分類存儲；

終端模塊，用于根據應用場景業務需求對云端模塊存儲的多層次視頻及視覺特征流進行多種特征組合檢索。

7.如權利要求6所述的一種多層次視覺特征的視覺檢索系統，其特征在于，還包括目標布控模塊，云端根據終端的智能檢索分析服務器的應用場景業務需求可以對多層次視頻及視覺特征流采用特征匹配方法進行目標布控，實時監測目標信息。

8.如權利要求7所述的一種多層次視覺特征的視覺檢索系統，其特征在于，還包括定時定位模塊，記錄所述視頻流的若干特征流的時間和所述視頻流的攝像頭位置，將時間和位置信息添加于多層次視頻及視覺特征流。