[發明專利]一種基于漸進式生成對抗網絡的視頻摘要方法

有效

• 申請號: 201911301505.0
• 申請日: 2019-12-17
• 公開（公告）號: CN111163351B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 簡維鳳;吳振豪;陳鐘;李青山;楊可靜;蘭云飛;吳琛;李洪生;王曉青
• 申請（專利權）人: 博雅信安科技（北京）有限公司;北京國信云服科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/8549;G06N3/04
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李珉

本發明提供一種基于漸進式生成對抗網絡的視頻摘要方法，涉及信息處理技術領域。該方法首先按照一定幀率將視頻切分成圖片的集合，將視頻數據轉化為圖片數據；然后建立漸進式生成對抗網絡模型，逐漸增加模型的網絡層，從低分辨率訓練到高分辨率，提取關鍵幀；同時，選擇精度模式或者收斂模式，以決定模型以何種方式在某一分辨率上停止訓練；最終，給出視頻所有幀的標簽，以標記出視頻關鍵幀所在；利用該標簽可提取關鍵幀，合成摘要短視頻。本發明提供的視頻摘要方法，采用一種無監督訓練方式，不需要對視頻做出關鍵幀的人工標記，同時漸進式的訓練，可充分利用局部信息，降低了訓練的復雜性，增加了訓練結果的穩定性。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種基于漸進式生成對抗網絡的視頻摘要方法。

背景技術

隨著視頻手持拍攝設備技術進步和成本降低以及視頻社交平臺的崛起，視頻在社交、監控、廣告傳媒等多個領域應用愈加深入，視頻數據量也在急劇增加。與文字、圖片、語音一樣，視頻是重要的信息媒介形式，特別是視覺信息。所不同的是，視頻，尤其是未經剪輯(或者其他處理方式)，比文字和圖片更能生動客觀的記錄事實。而開發能夠從大量視頻數據中提取有效事實的計算機視覺技術就顯得格外重要。視頻摘要作為視頻分析的上游任務，對于視頻中大量重復或高度相似的信息，能夠有針對性地去除。視頻摘要把視頻濃縮成相對緊湊的短視頻，以便進一步對視頻分析處理。

視頻是幀的有序排列，視頻摘要可視為關鍵幀的選擇問題。傳統視頻摘要，使用相似度計算和機器學習算法，把視頻單純地看作圖片數據的集合，分析集合中元素的數值差異，從而提取具有多樣性的最小幀集。這種方法時間快、成本低，但準確率不高，同時也忽略了視頻的圖像特性，無法利用視頻的視覺特征。

隨著深度學習的流行，使用基于深度學習的計算機視覺技術研究視頻摘要已在國內外展開，并取得一些成果。計算機視覺對圖像的分析研究已相當成熟，對視頻的分析卻是方興未艾。現有技術當中，首先，從單張圖像到千萬張圖片合成的視頻，意味著數據量激增，這對深度學習模型往往造成訓練壓力，過多的重復信息、過高的內存要求和過長的訓練時間會嚴重降低視頻摘要的效率和速度。其次，對于視頻數據來說，現有技術往往以高分辨率方式讀取并訓練，以學習到更準確的特征，但訓練代價太大，而單純地降低分辨率訓練，又會因圖像模糊，模型學習不到視頻的特征。考慮到這兩點，如何有效地設計深度學習模型，平衡訓練成本和準確率，就成為了視頻摘要的一個重大挑戰。

發明內容

本發明要解決的技術問題是針對上述現有技術的不足，提供一種基于漸進式生成對抗網絡的視頻摘要方法，輕量、迅速地將視頻摘要成短視頻。

為解決上述技術問題，本發明所采取的技術方案是：一種基于漸進式生成對抗網絡的視頻摘要方法，包括以下步驟：

步驟1、對待摘要視頻按照固定頻率進行幀采樣，把視頻切分為一幀一幀的圖片的集合；

步驟2、搭建漸進式生成對抗網絡模型，并將步驟1處理后的視頻輸入該模型，對視頻中所有幀通過標簽進行標注，提取視頻中的關鍵幀；

所述漸進式生成對抗網絡模型是一個多層生成對抗網絡的漸進演變，集訓練與測試于一體，從低分辨率開始學習所有幀，使用生成對抗網絡的生成器和鑒別器相互對抗來提取關鍵幀；關鍵幀提取過程中，生成器選擇幀，形成關鍵幀集，判別器則對關鍵幀集進行篩選，使留下的關鍵幀信息與原視頻中的信息表達相似；隨著訓練的進行，向生成器和鑒別器的網絡中不斷添加新的層，增大圖片分辨率，使模型逐漸利用更高分辨率的細節特征提取關鍵幀；

步驟3、選擇訓練模式為精度模式或者收斂模式；

所述精度模式指定模型停止訓練時的圖片分辨率大小，所述收斂模式讓模型在多層不同分辨率訓練的關鍵幀提取結果趨于一致時停止訓練；

步驟4、輸出視頻所有幀的標簽，以標記出視頻中所有關鍵幀；該標簽包括視頻的所有幀是否為關鍵幀的分類結果；