[發明專利]生成視頻摘要的方法、裝置、包含該裝置的圖像處理系統

有效

• 申請號: 200910138455.9
• 申請日: 2009-05-13
• 公開（公告）號: CN101887439A
• 公開（公告）日: 2010-11-17
• 發明（設計）人: 白洪亮;孫俊;勝山裕;堀田悅伸;于浩;直井聰
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04N7/26;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;李春暉

技術領域

本發明總體上說涉及視頻圖像處理的技術領域，更具體而言，涉及生成視頻摘要的方法、裝置，以及包括該裝置的圖像處理系統。

背景技術

視頻摘要VS(Video?Summarization)是指針對視頻文件形成的一個較短的摘要，用于概述該視頻文件的主要內容。現在普遍使用兩種不同類型的視頻摘要。第一種稱為“SVS(靜態視頻摘要，Static?Video?Summary)”，其由從原始視頻文件中抽取或者合成的一系列關鍵幀(key?frame)組成。第二種稱為“DVS(動態視頻梗概，Dynamic?Video?Skimming)，其是由一組連續的視頻剪輯(video?clip)組成的、原始視頻文件的縮減版本。

在現有技術的上述形成視頻摘要的方法中，視頻鏡頭邊界檢測技術(shot?boundary?detection?technology)被用來確定SVS的關鍵幀。視頻鏡頭(shot)是攝像機所攝制的一系列未分割的幀。一個場景(scene)被定義為是集中于所感興趣的一個對象或者多個對象的一個或者多個相鄰的視頻鏡頭的集合。在各視頻鏡頭之間存在若干種不同的轉換(transition)，這種轉換例如有切入切出(cut)、淡出淡入(fade)、溶出溶入(dissolve)、滑變(wipe)等。視頻鏡頭邊界檢測技術中的算法包括像素差別、統計差別、直方圖、運動矢量，等等。例如，在這種視頻鏡頭邊界檢測技術中，事先人為地設置在某種情況下設置的幀為關鍵幀，例如，認為在發生了上述視頻鏡頭之間的切入切出、淡出淡入、溶出溶入、或滑變等轉換時涉及的視頻鏡頭及其相關幀反映了原始視頻文件的重要信息，因此將這些視頻鏡頭或幀提取出來組成視頻摘要。

然而，在大多數視頻中，上述的基于視頻鏡頭的SVS包括的視頻鏡頭過多，而且，發生上述轉換時涉及的視頻鏡頭未必體現視頻文件的主要內容，因此，雖然最終形成的視頻摘要包括很多幀圖像，但是仍然無法提供原始視頻文件的重要信息。例如，在講述故事的視頻中，可能會包括許多視頻鏡頭的轉換，這些視頻鏡頭的轉換僅僅是為了交代故事發展過程中涉及的時間地點等以確保故事講述的完整性或者作為情節發展的鋪墊，但是這些轉換所涉及的視頻鏡頭及其關聯幀與故事本身的主要內容沒有太大關系，因此如果把這些幀都包括在視頻摘要中，將使得無法準確地從該視頻摘要中獲得故事的概要。

上述現有技術中的DVS也存在類似的缺陷，即，難以獲得準確地反映原始視頻文件的主要內容的視頻摘要。

發明內容

為了克服上述現有技術中的缺陷，本發明的目的在于提供生成視頻摘要的方法、裝置，以及包括該裝置的圖像處理系統，使得生成能準確地反映原始視頻文件的主要內容的視頻摘要。

根據本發明的實施例，提供一種用于生成視頻信號的視頻摘要的方法，包括步驟：視頻解碼步驟，用于對視頻信號進行解碼，以便獲得多幀視頻解碼圖像；字幕特性獲得步驟，用于獲得所述多幀視頻解碼圖像中包含的所有字幕中每一個字幕的如下特性中的至少一種：字幕的持續時間，字幕在相應的視頻解碼圖像中的位置，字幕的字符尺寸，字幕圖像經光學字符識別(OCR)后的識別碼和可信度；以及，視頻摘要生成步驟，用于根據所述視頻信號的內容與字幕的特性之間的關系，對所獲得的字幕的至少一種特性進行處理，以便生成與所述視頻信號的內容相適應的視頻摘要。

根據本發明的實施例，還提供一種用于生成視頻信號的視頻摘要的裝置，包括：視頻解碼單元，用于對視頻信號進行解碼，以便獲得多幀視頻解碼圖像；字幕特性獲得單元，用于獲得所述多幀視頻解碼圖像中包含的所有字幕中每一個字幕的如下特性中的至少一種：字幕的持續時間，字幕在相應的視頻解碼圖像中的位置，字幕的字符尺寸，字幕圖像經光學字符識別(OCR)后的識別碼和可信度；以及視頻摘要生成單元，用于根據所述視頻信號的內容與字幕的特性之間的關系，對所獲得的字幕的至少一種特性進行處理，以便生成與所述視頻信號的內容相適應的視頻摘要。

本發明的其他實施例還提供一種視頻圖像處理系統，其具有根據本發明的如上所述的用于生成視頻信號的視頻摘要的裝置。這種視頻圖像處理系統例如是電視采集卡、DVD播放器或者膝上型計算機。

此外，本發明的其他實施例還提供一種存儲有機器可讀取的指令代碼的程序產品，所述指令代碼由機器讀取并執行時，可執行如上所述的根據本發明的生成視頻信號的視頻摘要的方法。