[發明專利]視頻饋送處理系統和方法

在審

• 申請號: 201910344754.1
• 申請日: 2016-06-21
• 公開（公告）號: CN110263614A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 多爾·吉翁;約拉姆·埃利沙伊
• 申請（專利權）人: 蓋特警報有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張瑞;楊明釗

本公開涉及視頻饋送處理系統和方法。公開了用于多因素圖像特征配準和跟蹤的方法、電路、設備、系統及相關可執行代碼，其中，所利用的因素包括視頻饋送內的靜態參數和動態參數。所評估的因素可以來源于包括視頻傳感器和音頻傳感器兩者的異構傳感器組合。在聲學方面獲取的場景信息可以補充在光學方面獲取的信息。

本申請是申請日為2016年6月21日，申請號為201680048816.9，發明名稱為“用于多因素圖像特征配準和跟蹤的方法、電路、設備、系統及相關計算機可執行代碼”的申請的分案申請。

發明領域

本發明總體涉及計算機視覺、圖像和視頻分析以及場景捕獲和配準領域。更具體地，一些實施例涉及用于多因素圖像特征配準和跟蹤的方法、電路、設備、系統及相關可執行代碼。

背景

視頻內容分析(Video content analysis)(也被稱作視頻內容分析學(Videocontent analytics)，VCA)是自動分析視頻以檢測并且確定時間事件和空間事件的能力。正因如此，它可以被看作是生物視覺皮層的自動化等價物。

這一技術能力廣泛應用于包括娛樂、醫療保健、零售、汽車、運輸、家庭自動化、安全和安保的領域。算法可以在通用機器上作為軟件來實現，或者作為專用視頻處理單元中的硬件來實現。

在VCA中可以實現許多不同的功能。視頻運動檢測是其中參考固定的背景場景檢測運動的多種較簡單形式中的一種形式。較先進的功能包括視頻跟蹤和自運動估計(egomotion estimation)。

基于VCA在機器中生成的內部表示，可構建其他功能，諸如，識別、行為分析或其他形式的態勢感知。

VCA依賴于良好的輸入視頻，因此它經常與視頻增強技術(諸如，視頻去噪、圖像穩定化、反銳化掩模(unsharp masking)和超分辨率)相結合。

另外，在計算機視覺、圖像和視頻分析領域以及場景捕獲和配準(registration)領域中，仍然存在對可以利用多因素圖像特征配準和跟蹤(包括視頻饋送(video feed)內的靜態參數和動態參數兩者，并且可選地包括從聲學方面獲取的場景信息)的技術的需求。

發明概述

本發明包括用于多因素圖像特征配準和跟蹤的方法、電路、設備、系統及相關可執行代碼，其中，所利用的因素包括視頻饋送內的靜態參數和動態參數。根據一些實施例，所評估的因素可以來源于包括視頻傳感器和音頻傳感器兩者的異構傳感器集合。根據另外的實施例，在聲學方面獲取的場景信息可以補充在光學方面獲取的信息。

根據本發明的實施例，“視頻饋送”可以涉及任何實況的或實時的視頻流、預先錄制的視頻饋送、和/或連續的靜止圖像的任意集合。

根據本發明的一些實施例，用于多因素圖像特征配準和跟蹤的系統可以包括：(1)相機類型標識模塊，用于標識接收到的視頻饋送的來源是靜態相機還是動態相機；(2)透鏡畸變補償模塊，用于數字地校正視頻饋送圖像畸變；(3)相機位置模塊，用于標識相機在場景內的位置和取向；(4)三維(以下稱：3D)軌跡跟蹤模塊，用于將取向向量分配給場景中的動態元素(多個動態元素)和/或分配給場景相機；(5)動態元素分析模塊，用于標識和跟蹤場景內的動態元素；(6)靜態場景特征配準模塊，用于基于所跟蹤的動態元素(多個動態元素)的運動和/或基于在所跟蹤的動態元素(多個動態元素)與場景中的靜態元素之間的相互作用來對場景中的靜態元素進行配準，和/或用于基于對于場景中圖像的配準來構建相對深度場景；和/或(7)行為關聯模塊，用于使在場景中的動態元素(多個動態元素)的檢測到的/測量到的/提取到的運動動態與特征化動作相關聯，和/或用于基于它們的運動動態特征數據/輪廓/記錄來識別特定的人類個體。

根據一些實施例，該系統還可包括：(8)聲場景映射模塊，用于利用散射聲學回濺進一步映射場景。

本公開提供以下方面：