[發明專利]針對視頻的持續性特征描述符

在審

• 申請號: 201810089779.7
• 申請日: 2018-01-30
• 公開（公告）號: CN108376242A
• 公開（公告）日: 2018-08-07
• 發明（設計）人: 何大可;陳軍;穆哈馬德·拉比亞·M·阿拉貝亞;尹婷;喬盈嬋;王益中;李良燕
• 申請（專利權）人: 黑莓有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N21/845
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 趙偉

用于提取視頻的特征描述符的方法和設備，該視頻具有畫面序列。該方法包括識別第一關鍵畫面和與序列中遲于第一關鍵畫面的第二關鍵畫面；從第一關鍵畫面中提取特征描述符的第一集合，并從第二關鍵畫面中提取特征描述符的第二集合；識別特征描述符對的集合，其中每對包括來自第一集合的一個描述符和來自第二集合的一個描述符；產生描述第一關鍵畫面與第二關鍵畫面之間的運動場的運動信息；以及基于與運動信息的相關性來過濾特征描述符對的集合以產生和輸出持續性描述符的子集。

技術領域

本申請一般地涉及針對視頻的特征描述符，諸如可以用于對象識別或分析，并且特別地涉及用于提取和識別持續性特征描述符的方法和系統。

背景技術

特征檢測和提取被開發用于圖像處理以識別圖像內的對象(特征)。這作為計算機視覺、圖像搜索、對象識別和其它這類圖像分析系統的一部分可能是有用的。特征檢測的動作涉及通常使用梯度分析來識別圖像中潛在受關注的點或區域(例如邊緣、角落等)。特征提取的動作涉及產生包含受關注特征的圖像中的一小片的多維向量表示。特征提取的所得輸出是特征描述符。

然后，在例如對象識別或圖像匹配過程中使用特征描述符。例如，來自圖像的特征描述符的集合可被存儲在包含用于大量圖像的特征描述符的集合的查詢數據庫中。例如，這使得能夠實現如面部識別之類的功能。

特征檢測和提取的概念還可以擴展到視頻，其中，視頻可被認為是一系列畫面。運動圖像專家組(MPEG)旨在將用于視頻的描述符標準化為用于視頻分析的緊湊描述符(CDVA)。MPEG正在探索用于視頻處理和分析的工具，目的是減少“所得視頻描述符傳輸或存儲的數據量”，并實現“實施方式、應用和數據庫的互操作性”。注意，在MPEG CDVA中，針對視頻序列的描述符是以逐個圖像(或逐幀)方式提取的，然后被壓縮。

可以從視頻的每個畫面提取的大量特征描述符導致識別和存儲以及傳輸特征描述符的過程中數據負擔較大，即使在經過壓縮后仍是如此。提供以下特征描述符提取的系統和方法將是有利的，其保持或改善特征描述符的區分能力(即，準確性)，同時減少或保持描述符的數量和復雜度。

附圖說明

作為示例，現在將參考示出本申請的示例實施例的附圖，其中：

圖1示出了用于視頻分析系統的簡化緊湊描述符；

圖2以框圖形式示出了視頻特征描述符提取器系統的示例；

圖3以框圖形式示出了用于視頻中的對象識別的查詢系統的示例；

圖4以框圖形式示出了視頻特征描述符提取器的示例實施例；

圖5示出了圖示用于視頻特征描述符提取的示例過程的流程圖；

圖6示出了圖示用于視頻特征描述符對的運動一致性評估的示例過程的流程圖；

圖7示出了視頻特征描述符提取器的示例簡化框圖；

圖8示出了從畫面對SIFT描述符的示例提取；以及

圖9示出了持續性描述符的示例。

在不同的附圖中可能使用類似的附圖標記來表示相似的組件。

具體實施方式

本申請描述了用于從視頻中提取特征描述符的方法和設備。這些方法和設備依靠于時間冗余來識別“持續性描述符”，其中，持續性描述符是出現在多個連續幀中的特征的特征描述符。這一特征可以通過確定從多個連續幀提取的特征描述符彼此足夠匹配以致它們可能涉及相同特征來識別。運動一致性檢查可用來確保持續性描述符與視頻中對象的運動一致。在一些情況下，持續性描述符可以通過匹配與視頻分段(segment)有關的兩個關鍵幀的所提取的描述符來識別，其中關鍵幀是位于分段的任一端的畫面。