[發明專利]基于轉換器的視頻摘要方法

有效

• 申請號: 202010329511.3
• 申請日: 2020-04-24
• 公開（公告）號: CN111526434B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 梁國強;張艷寧;呂艷兵;李書成;吉時雨
• 申請（專利權）人: 西北工業大學
• 主分類號: H04N21/8549
• 分類號: H04N21/8549;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 常威威

本發明提供了一種基于轉換器的視頻摘要提取方法。首先，對選定數據集進行處理，得到模型的訓練數據集；然后，構建包括自注意力機制的視頻摘要轉換器神經網絡模型，利用自注意力機制計算視頻幀之間的相似度，并通過添加先前幀的重要性得分來增強模型捕獲視頻幀序列全局依賴關系的能力，利用訓練數據集對模型進行訓練；最后，利用訓練好的模型對待處理視頻數據進行處理，得到每一幀的重要性得分，根據該得分選擇得到視頻摘要。本發明能夠很好地捕獲視頻幀序列之間的時序信息，進而能夠很好地對視頻幀的重要性程度以得分的形式進行預測，且本發明的模型網絡對幀序列可以以并行化的方式進行訓練，具有訓練時效快、所得視頻摘要完整簡短的優點。

技術領域

本發明屬計算機視覺、深度學習表示技術領域，具體涉及一種基于轉換器的視頻摘要方法。

背景技術

隨著攝像機、視頻分享技術的快速發展，視頻的數量正在呈現爆炸式的增長。面對海量視頻數據，如何高效地從視頻中提取有用信息成為一個重要的問題。作為解決該問題的一個重要技術，視頻摘要技術旨在對原視頻生成一個完整且簡短的摘要視頻，該摘要視頻在時長簡短的基礎上又能夠傳遞原視頻要表達的信息，已經成為多媒體、計算機視覺等領域的熱點。視頻摘要技術綜合運用了機器學習、人工智能等多方面技術，在視頻檢索、存儲、推薦等方面具有重要的作用。

目前，大部分的視頻摘要方法分為兩個階段，第一階段是對所有視頻幀進行重要性得分的預測，第二階段是利用第一階段的結果來選擇視頻的關鍵鏡頭，從而獲得最終摘要結果。第一階段是視頻摘要方法的關鍵階段，目前大多數方法的研究都是針對視頻幀重要性得分的預測，很多方法都具有比較好的性能。如文獻“Ke Zhang,Wei-Lun Chao,FeiSha,et al.Video Summarization with Long Short-Term Memory[C]//EuropeanConference on Computer Vision.Springer,Cham,2016.”中使用兩個LSTM網絡，一個從前往后，一個從后往前來提取視頻幀的序列信息并進行視頻幀重要性得分預測，該網絡結構組成簡單，可提取關鍵的序列信息，但循環神經網絡難以捕捉長時的依賴關系，在處理長視頻信息時，容易遺失早期的序列依賴關系；文獻“Ji,Zhong,Xiong,Kailin,Pang,Yanwei,etal.Video Summarization with Attention-Based Encoder-Decoder Networks[J].2017.”采用編解碼器結構來提取視頻關鍵幀，雖然加入了注意力機制，取得了不錯的效果，但編解碼器依然使用LSTM網絡，其復雜度與視頻的長度相關，存在難以實現并行訓練、耗時長的問題。

發明內容

為了克服現有技術的不足，本發明提供一種基于轉換器的視頻摘要方法。利用基于注意力機制的轉換器，優化特征到解碼器的信息流路線，將解碼器輸出的重要性得分與原始特征進行加權，用于預測下一幀的重要性得分，增強模型輸入與輸出之間的聯系，實現訓練的完全并行化，同時更好地捕捉全局依賴信息。

一種基于轉換器的視頻摘要方法，其步驟如下：

步驟1：對選定數據集中的視頻進行下采樣，然后使用預先訓練好的神經網絡提取視頻每一幀的特征向量h_f∈R^d，f為幀序號，f＝1,2,...,F，F是下采樣后視頻的總長度，d表示特征向量的長度；一個視頻所有幀的特征向量和對應的重要性分數構成訓練集中的一個樣本；所述的選定數據集包括TvSum和SumMe；

步驟2：使用下式生成視頻幀的位置向量：

其中，PE_f(i)表示視頻第f幀的位置向量的第i個元素值,i＝1,2,…,d；

然后，將視頻每一幀的位置向量逐元素與其特征向量相加，對每一幀得到一個添加位置向量后的新向量x_f；