[發明專利]一種新的視頻動態合成縮略圖生成方法

在審

• 申請號: 202110545150.0
• 申請日: 2021-05-21
• 公開（公告）號: CN113326398A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 趙寶全;汪飛;王洪斐;馮嘉浩;羅笑南
• 申請（專利權）人: 桂林電子科技大學;桂林笑微酒店管理有限公司
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/75;G06F16/783;G06T7/11;G06T7/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明介紹了一種新的視頻動態合成縮略圖生成方法，通過分析和提取視頻內容的顯著性信息，將其融合成具有時序信息的動態圖像序列來作為視頻動態縮略圖封面，提供有效和豐富的視覺線索，幫助用戶提高其信息獲取效率。具體地說，首先使用鏡頭分割算法將視頻切分為一系列的鏡頭和子鏡頭等基本結構化單元；其次，進行關鍵幀提取，并使用圖像聚類算法將提取到的關鍵幀進行聚類；第三，對每一類按照該類所包含的關鍵幀所對應的鏡頭時長的總和進行重要性度量，并按照重要性大小對類進行降序排列；第四，從每一個類中選取一個片段，并對片段中的幀進行顯著性區域檢測；最后，使用基于重要性的內容布局算法將提取到的片段融合為一個動態的合成縮略圖。

技術領域

視頻摘要

背景技術

隨著信息技術的發展和互聯網的普及，網絡中視頻的數量呈現出了急劇增長的態勢。如何從海量的視頻資源中快速檢索和定位感興趣的視頻內容是目前多媒體技術領域研究的熱點問題之一。視頻封面(縮略圖)作為一種常見的視頻內容摘要形式，為用戶快速了解視頻內容的提供了一個重要且直觀的窗口。傳統的視頻內容平臺在用戶未指定縮略圖的情況下，通常會從視頻某一特定時刻(如視頻總時長的25％，50％，或75％處)選取一幀圖像作為視頻封面顯示在視頻檢索結果界面中來輔助用戶查找感興趣的視頻。然而，這種方法選擇的縮略圖具有很大的隨機性，因此無法保證恰當準確地揭示視頻的主要內容。近年來，許多研究致力于基于內容和質量感知的視頻封面提取方法。但是這些方法仍然側重于從視頻中選取某張與主題相關的幀作為視頻封面。然而，視頻作為一種信息密集型媒體，這些方法提取的視頻封面往往很難全面的反映視頻的內容，因而用于視頻檢索時仍然有著很大的局限性。為了克服單一縮略圖作為視頻封面的不足，有研究者提出了視頻靜態合成縮略圖生成方法以及動態縮略圖(GIF動畫)提取方法。前者主要是通過選擇和融合視頻多張關鍵幀關鍵幀以生成更為全面的視頻內容摘要縮略圖。但是，這種靜態的視頻縮略圖往往不能呈現視頻中的時序信息(如人物動作)；后者則通過選取視頻連續的幾幀圖像生成GIF動畫來更好地呈現視頻的內容。雖然與單張圖片的視頻縮略圖相比，這種方法在時序信息呈現方面具有一定的優勢，但是其對視頻內容的摘要仍然是片面的。隨著信息查找更趨向快速化、簡便化，傳統的視頻內容摘要和縮略圖生成方法難以滿足用戶快速瀏覽，查找以及定位感興趣視頻內容的需求。因此，如何結合視頻的多個關鍵鏡頭，對視頻圖像中的關鍵信息進行提取和融合，生成視頻動態合成縮略圖，幫助用戶實現高效的信息檢索和內容定位，成為多媒體領域亟待解決的一個問題。

發明內容

本發明的目的是實現視頻動態縮略圖的生成，通過對視頻中顯著性的內容片段進行檢測和提取，并將其合成為一組動態、緊湊且信息豐富的合成圖像序列，從而全面生動地呈現視頻的關鍵信息，以輔助用戶進行高效的信息查找和內容定位。

實現本發明的技術方案是：

本文所述方案共分為六個部分，分別是鏡頭分割、關鍵幀提取、鏡頭/關鍵幀聚類、鏡頭片段提取、顯著性區域檢測、動態縮略圖合成。

首先是從原始視頻圖像分割出圖像幀，進行邊緣性檢測提取出鏡頭。再通過兩種不同的圖像質量評估模型對所有圖像幀進行評估，根據得分提取出所有關鍵幀。接著執行圖像聚類算法將鏡頭分類位一系列鏡頭組，鏡頭中的關鍵幀隨鏡頭的分類進行歸類。接著從每一類的鏡頭組中提取由關鍵幀組成的視頻片段，通過顯著性區域檢測算法對選擇的視頻片段進行檢測得到顯著性區域，最終進行動態縮略圖布局，生成GIF 格式的動態縮略圖。

(1)視頻鏡頭分割

視頻鏡頭單元及關鍵幀提取，將原始視頻進行預處理，進行視頻鏡頭邊緣檢測和鏡頭內關鍵幀提取。根據幀圖像的灰度值直方圖差異進行邊緣檢測，根據幀之間的差異值確定鏡頭邊緣幀。相鄰的兩個鏡頭之間的幀圖像個數存在閾值，當高于該閾值時視為兩個鏡頭，且鏡頭邊緣幀的前一幀的差值為所有幀差中最大數。

進行優化處理，出現陡增或陡降的情況，即前面的多個幀與該幀的差值出現近乎90度的陡增或陡降效果則視為鏡頭邊緣幀。

(2)關鍵幀提取