[發明專利]一種基于活動事件時空重組的視頻摘要生成方法

有效

• 申請號: 201410040054.0
• 申請日: 2014-01-27
• 公開（公告）號: CN103778237B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 馬華東;李文生;張海濤;魏汪洋;楊軍杰;高一鴻;黃灝;趙曉萌
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 夏憲富

技術領域

本發明涉及一種智能分析技術，確切地說，涉及一種基于活動事件時空重組的視頻摘要生成方法，屬于計算機人工智能、數字視頻圖像處理和視頻監控或視頻檢索的技術領域。

技術背景

在社會公共安全領域，視頻監控系統已經成為維護社會治安、加強社會管理的一個重要技術手段。成千上萬的監控攝像頭設置在城市的大街小巷、各個企事業的不同場合，執行其晝夜不停地錄像使命。這些海量視頻文件的特點是存儲的數據量大、時間長，通過錄像尋找相關線索時需要耗費大量的人力、物力和時間，效率極其低下。因此，在視頻監控系統中，如何對原始視頻進行濃縮、高效、快速地處理，對海量視頻數據中用戶感興趣的內容進行分析并提取所需要的內容，以便作為快速搜尋和過濾的重點，具有重要的指導意義。

視頻摘要就是一種快速瀏覽與檢索視頻的有效工具。視頻摘要是對視頻的結構和內容進行分析，從原始視頻中提取出有意義的內容，并將其以設定方式重新組合，形成簡潔、能充分表現視頻語義內容的概要，同時也可作為原始視頻文件的索引，以供用戶快速尋找到每個事件的具體信息。

目前，視頻摘要主要分為兩類：靜態視頻摘要和動態視頻摘要。其中，靜態視頻摘要是從視頻流中抽取有代表性的多個圖像，即通過一系列關鍵幀組成相應的語義單元，用于概括描述視頻內容。關鍵幀是反映視頻主要內容的一幀或多幀圖像，它的使用可以大大減少視頻索引的數據量，同時也為查詢和檢索視頻提供了一個組織框架。選取關鍵幀的準則是考慮各幀之間的非相似性，以包括顏色、運動為衡量標準的視覺特性來抽取關鍵幀。Tonomura等人最早提出把每組鏡頭的第一幀作為關鍵幀。隨后，Zhao等人使用最近鄰特征線的方法獲取關鍵幀。Narasimha等人用神經網絡的方法提取關鍵幀。動態視頻摘要是提供整個視頻內容的基本描述的粗略印象，側重于摘要內容的全面或最重要的片段。

以上兩種視頻摘要的共性是要嚴格遵循時間順序，并以損失大量活動信息為代價來達到快速瀏覽視頻的目的，因此其不能很好地表達視頻的語義信息，且無法應用在監控視頻的場景。

發明內容

有鑒于此，本發明的目的是在不丟失大量視頻圖像信息的基礎上，提供一種基于活動事件時空重組的視頻摘要生成方法，用于高效、快速地生成完成用于視頻瀏覽或檢索的視頻摘要。本發明的思路為：先對原始視頻進行去除空白幀的預處理，再對預處理后的視頻進行結構化分析，提取原始視頻中所有關鍵的活動事件，并弱化各個活動目標事件間的時間關聯，按照其活動范圍不相沖突的原則對活動目標事件進行時序重組，同時參照用戶的視覺感受合理提取背景圖像，生成延時動態背景視頻，最后將這些活動目標事件與延時動態背景視頻進行無縫縫合，形成結構緊湊、簡短精練、內容豐富且信息全面的視頻摘要，最終生成的視頻摘要會同時出現多個活動目標。該視頻摘要同時也可作為原始視頻文件的索引，用于視頻檢索和快速瀏覽。實踐證明，本發明方法能夠生成良好的視頻摘要。

為了達到上述目的，本發明提供了一種基于活動事件時空重組的視頻摘要生成方法，其特征在于：先對原始視頻進行預處理，去除空白幀，再對預處理后的視頻進行結構化分析：以原始視頻中的活動目標為對象，提取其中所有關鍵活動目標的事件視頻，并弱化各個活動目標事件之間的時間關聯，按照其活動范圍不相沖突的原則對各個活動目標事件進行時間上的重新組合；同時參照用戶的視覺感受合理提取背景圖像，生成延時的動態背景視頻；最后將這些活動目標事件與延時動態背景視頻實現無縫縫合，形成時間簡短、內容精練、信息全面的視頻摘要，且最終生成的視頻摘要能夠同時出現多個活動目標；所述方法包括下列操作步驟：

（1）對原始視頻進行預處理：刪除其中活動目標沒有運動或變化的空白幀，以避免空白幀對后續分析視頻時的干擾，節省系統資源和提高系統運行速度；

（2）對預處理后的視頻進行結構化分析：對各個活動目標進行檢測、跟蹤和描述，以形成多個活動目標事件；其中每個活動目標事件是視頻中同一個活動目標運動或變化所位于的幀的集合；

（3）生成視頻摘要：采用貪心算法對各個活動目標事件的時間進行重新排序，再建立延時的動態背景視頻，最后將收集的兩種視頻實現無縫縫合，以使視頻內容在時間和空間上進一步緊湊濃縮為視頻摘要。