[發明專利]一種視頻海報自動生成方法

有效

• 申請號: 202010628371.X
• 申請日: 2020-07-02
• 公開（公告）號: CN112004164B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 王若梅;區詩柔;周凡;林淑金;陳小燕
• 申請（專利權）人: 中山大學
• 主分類號: H04N21/8549
• 分類號: H04N21/8549;H04N21/234;H04N21/44;H04N21/2343;H04N21/4402;G10L15/26;G06V20/40;G06V10/762;G06V10/56
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種視頻海報自動生成方法。本發明從視頻中提取必要的視頻內容信息，包括：視頻標題、音頻文本、視頻幀、視覺文本；對所述音頻文本進行主題分割得到視頻正文，將所述音頻文本結合所述視覺文本提取視頻關鍵詞，利用所述音頻文本生成視頻梗概，對所述視頻幀進行關鍵幀提取得到視頻圖；根據所述視頻標題、所述視頻梗概、所述視頻關鍵詞、所述視頻正文、所述視頻圖，根據布局排版方法，生成一張視頻海報。本發明可以將每個視頻都轉換成視頻海報，上面不但有著視頻的完整內容，還有能概括視頻內容的梗概和關鍵詞，將極大地提高人們獲取視頻內容的速度，方便人們的日常生活。另外，還可以僅僅根據視頻就生成報紙。

技術領域

本發明涉及視頻處理技術領域，具體涉及一種視頻海報自動生成方法。

背景技術

隨著互聯網的發展和多媒體技術的廣泛應用，互聯網上視頻的數量呈爆炸式增長，視頻內容冗長、結構復雜，并且人們往往觀看視頻比瀏覽文字所花的時間更多，這使用戶快速獲取視頻的內容變得困難。因此，如果可以將每個視頻都轉換成海報，上面不但有著視頻的完整內容，還有能高度概括視頻內容的梗概和關鍵詞，將極大地提高人們獲取視頻內容的速度，方便人們的日常生活。在此背景下，視頻海報自動生成技術應運而生。

目前的現有技術之一是夏佳志提出的視頻海報自動生成方法，通過提取視頻中的關鍵畫面自動排版生成一張海報。該方法先對視頻建立起一個層次化的視頻場景模型，然后對現有的視覺注意力模型進行擴展，建立了一個基于視頻序列的綜合視覺注意力模型，接著根據該模型提取出若干張關鍵幀及其重要度和重要區域；并且，在現有排版規則基礎上，增加了版面位置對視覺心理感知的影響，設計出一種位置重要性驅動的視頻海報自動排版算法，根據所提取出的關鍵幀及其重要度和重要區域，對關鍵幀進行排版從而生成一張海報。

該方法的缺點是：1、根據視頻自動生成的海報實際上只有若干張從視頻中提取出來的圖片，缺少文字，因此內容不夠豐富，無法很好的表達出視頻的內容；2、僅僅依靠幾張圖片層疊鋪在一起形成一張海報，看上去也不夠美觀。

發明內容

本發明的目的是克服現有方法的不足，提出了一種視頻海報自動生成方法。本發明解決的主要問題是，(1)如何將每個視頻都轉換成海報，上面不但有著視頻的完整內容，還有能概括視頻內容的梗概和關鍵詞；(2)如何僅僅根據視頻就生成報紙。

為了解決上述問題，本發明提出了一種視頻海報自動生成方法，所述方法包括：

從視頻中提取必要的視頻內容信息，包括：視頻標題、音頻文本、視頻幀、視覺文本；

對所述視頻內容信息進行處理，包括對所述音頻文本進行主題分割得到視頻正文，將所述音頻文本結合所述視覺文本提取視頻關鍵詞，利用所述音頻文本生成視頻梗概，對所述視頻幀進行關鍵幀提取得到視頻圖；

根據所述視頻標題、所述視頻梗概、所述視頻關鍵詞、所述視頻正文、所述視頻圖，根據布局排版方法，生成一張視頻海報。

優選地，所述從視頻中提取視頻幀，具體為：

將視頻的每一幀提取出來；

評估所述每一幀的圖像質量，然后過濾掉模糊、昏暗、低質量的圖像，得到清晰高質量的幀；

根據所述清晰高質量的幀的視覺內容差異，將內容發生轉變的幀畫面劃分為不同的鏡頭，相同的鏡頭只保留一幀作為視頻鏡頭的代表幀，以此過濾掉大多數冗余的幀。

優選地，所述將所述音頻文本結合所述視覺文本提取視頻關鍵詞，具體為：

對所述音頻文本和所述視覺文本進行分詞和去停用詞的預處理，分別得到音頻候選詞和視覺候選詞；