[發明專利]數字視頻攝像機系統和形成視頻摘要的方法

有效

• 申請號: 201280023474.7
• 申請日: 2012-05-17
• 公開（公告）號: CN103620682B
• 公開（公告）日: 2016-10-12
• 發明（設計）人: 基思·斯托爾·卡恩;布魯斯·哈羅德·皮爾曼;亞倫·托馬斯·狄佛;約翰·R·麥科伊;弗蘭克·拉扎維;羅伯特·格特辛格
• 申請（專利權）人: 高智83基金會有限責任公司
• 主分類號: G11B27/24
• 分類號: G11B27/24;G11B27/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 潘劍穎

技術領域

本發明涉及數字視頻處理領域，更具體地，涉及用于形成數字視頻摘要的系統和方法。

背景技術

很多數字捕獲設備能夠捕獲視頻以及靜態圖像。然而，管理數字視頻內容可能是一項困難的任務。通常在視覺上使用視頻的第一幀的縮略圖圖像來表示視頻。這可能不能提供對視頻的內容的深刻理解。確定特定的事件是否包含在給定的視頻中通常需要查看整個視頻。對于漫長的視頻而言，用戶可能更希望能夠在不必查看整個視頻的情況下獲得視頻的快速摘要。

從共享的角度來看，數字視頻也可能帶來實際的問題。很多數字捕獲設備以30或60幀每秒、以高達1920×1080個像素的空間分辨率來錄制視頻。即使當被壓縮時，產生的數據的量可能使得共享即使相當短的視頻也是不切實際的。

視頻編輯軟件可以用于手動地將視頻概括為可以更容易地共享的更短的版本。然而，手動視頻編輯可能是漫長、費力的過程，并且很多用戶對手動編輯不感興趣。還存在自動視頻概括算法。這些解決方案以捕獲的視頻作為輸入開始，并且分析視頻以確定視頻摘要。Ratakonda的題為“Method?for?hierarchical?summarization?and?browsing?of?digital?video”的美國專利5,995,095公開了一種用于基于視頻序列的關鍵幀生成分層摘要的方法。Li等的題為“Scalable?video?summarization?and?navigation?system?and?method”的美國專利7,035,435描述了一種用于向視頻中的每一個場景、鏡頭和幀指派重要性值并且使用該重要性值來確定視頻摘要的關鍵幀的方法。Edwards等的題為“Automatic?editing?of?a?visual?recording?to?eliminate?content?of?unacceptably?low?quality?and/or?very?little?or?no?interest”的美國專利7,483,618公開了一種用于確定從視頻中消除了質量較低或不太感興趣的內容的視頻摘要的方法。

然而，自動視頻概括算法非常復雜，這是因為必須對視頻進行解碼以執行對于確定視頻摘要而言所需的分析。因此，不能在數字捕獲設備上立即查看與剛捕獲的視頻相對應的視頻摘要。這種缺點使得難以促進快速瀏覽和共享捕獲的視頻。

當創建視頻摘要時，通常期望在摘要中具有特定的特征。視頻摘要被創建為包含其中存在特征的視頻內容的一些或全部。這些特征的示例可以包括人、寵物、事件、位置、活動或對象。手動地創建這種定制的視頻摘要可能是冗長乏味的過程。使用桌面軟件生成這種定制的視頻摘要阻礙了快速瀏覽和共享視頻摘要的能力。

因此，將期望提供用于在數字捕獲設備中計算視頻摘要的系統和方法。具體地說，將期望提供允許在完成視頻捕獲以后以最小的延遲在數字捕獲設備上生成視頻摘要的解決方案。此外，將期望提供包含用戶指定的特征的視頻摘要。

發明內容

本發明表示一種用于捕獲視頻序列并且提供相關聯的視頻摘要的數字攝像機系統，包括：

圖像傳感器，用于捕獲數字圖像；

光學系統，用于在所述圖像傳感器上形成場景的圖像；

數據處理系統；

存儲設備，用于存儲捕獲的視頻序列；以及

程序存儲器，以通信方式連接到所述數據處理系統并且存儲指令，所述指令被配置為使所述數據處理系統執行用于形成視頻摘要的方法，其中，所述方法包括：

指定參考數據，其中，所述參考數據指示感興趣的特征；

使用所述圖像傳感器捕獲所述場景的視頻序列，所述視頻序列包括圖像幀的時間序列；

使用視頻處理路徑處理所捕獲的視頻序列，以形成數字視頻文件；

使用特征識別算法分析所捕獲的圖像幀，以識別包含感興趣的特征的所述圖像幀的子集；

形成包括與所捕獲的視頻序列中的所有圖像幀相比更少的圖像幀的所述視頻摘要，其中，所述視頻摘要包括所識別的包含感興趣的特征的圖像幀的子集的至少一部分；

將所述數字視頻文件存儲在所述存儲設備中；以及

將所述視頻摘要的表示存儲在所述存儲設備中。

本發明的優點在于，它在捕獲視頻幀時分析視頻幀以確定包含感興趣的特征的視頻幀的子集，從而消除了當創建視頻摘要時對解壓縮視頻數據的需要。