[發明專利]基于超圖主集聚類的多視頻摘要獲取方法

有效

• 申請號: 201710427912.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107203636B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 冀中;張媛媛
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/735;G06F16/73;G06K9/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明涉及視頻摘要處理，為提供一種能夠結合視頻的視覺信息和與主題相關的先驗信息，利用超圖主集聚類思想和最大邊際相關思想的多視頻摘要方法。本發明所采用的技術方案是：基于超圖主集聚類的多視頻摘要方法，首先構建視頻關鍵幀內容節點超圖，通過二分類的主集聚類得到覆蓋性強的候選關鍵幀集；然后利用網頁圖片與視頻集在同一事件主題下的共性關系，得到與主題相關性程度高且冗余性小的關鍵幀集；最后通過視頻幀在視覺上的連貫性對關鍵幀集進行排序，實現簡潔且有意義的多視頻摘要。本發明主要應用于視頻處理場合。

技術領域

本發明涉及視頻摘要處理。特別是涉及對具有冗余性，交叉性等特點的多媒體視頻數據，通過超圖主集聚類方法對多視頻關鍵鏡頭進行分析，再結合網頁圖片的輔助信息進行摘要獲取的基于超圖主集聚類的多視頻摘要方法。具體講，涉及基于超圖主集聚類的多視頻摘要方法。

背景技術

隨著技術的發展，在線視頻的數量正以飛快的速度增長，用戶也可以使用自己的移動設備方便地上傳個人視頻到共享網站。記錄同一事件、同一場景的視頻可能存在大量的冗余信息，這對用戶捕捉重要信息帶來了困難。因此對大量的視頻集中提取出有意義的部分，使用戶快速獲取視頻信息的重要內容的技術是迫切需求的。視頻摘要是通過將一個或多個視頻轉換為精簡視頻來滿足此要求的技術，引起了越來越多的研究人員的關注。多視頻摘要技術旨在針對某個查詢主題下的大量視頻，提取出和檢索主題內容相關的且有意義的部分，并以一定的邏輯形式呈現出來，目的是通過簡潔而又涵蓋主題內容的概要幫助用戶更好地了解視頻集的重要信息。視頻摘要的方法也可以分為兩類：基于關鍵幀的視頻摘要和基于視頻剪輯的視頻摘要。不管是哪類方法，根本目的都是一樣的，就是使用戶在最短的時間獲取原始視頻中最大的信息量。多視頻摘要需要滿足的基本要求：1)最大信息覆蓋率；2)重要性；3)主題相關性。最大信息覆蓋率指的是所提取的視頻內容能夠覆蓋同一主題下多個視頻的主要內容。重要性指的則是根據某些先驗信息提取視頻集中重要的關鍵鏡頭，從而提取出多個視頻中重要的內容。主題相關性指的是要保證獲取的視頻摘要并能準確的反映查詢主題的內容。

對于單視頻摘要，目前有很多實現方法。但是多視頻數據集的處理就比較困難。一方面多視頻數據集存在較大的冗余性：大量同性質的網站提供相同或者類似的視頻資源，用戶可以上傳自己的視頻數據。另一方面多視頻數據集同一內容所表現出來的音頻信息，文本信息和視覺信息可能存在較大差別。因此多視頻摘要技術相對于單個視頻摘要獲取就存在比較大的困難。

作為一個更具挑戰性的任務，研究學者針對多視頻數據集提出了一些比較可行的方法。其中聚類的方法或者圖模型法在原始搜索結果中分析和發現視覺相似的圖像作為搜索樣例原型是一種比較常用的方法。傳統的聚類方法不能解決多視頻數據集在同一主題下內容多樣且冗余所帶來的困難。只考慮視覺上的信息效果較差，需要結合多視頻的多模態信息進行摘要的獲取。

針對同一主題下的多視頻數據集，利用視頻的視覺共現特性(visual Co-occurrence)實現多視頻摘要是一種比較新穎的方法。該方法認為重要的視覺概念往往重復出現在同一主題下的多個視頻中，并根據這一特點提出了最大二元組查找算法(MaximalBiclique Finding)，提取多視頻的稀疏共現模式，從而實現多視頻摘要。但是該方法僅適用于特定的數據集，對于視頻中重復性較小的視頻集，該方法就失去了意義。

此外，相關學者利用多視頻中的文本，音頻等多模態信息，判斷視頻中的重要信息，生成多視頻摘要。目前，由于多視頻數據的復雜性，多視頻摘要技術的方法還有待提升。因此，如何借助已有的多視頻信息對數據集進行視頻結構和內容的分析，更好地實現多視頻摘要，成為目前相關學者研究的熱點。

發明內容

本發明所要解決的技術問題是：針對多媒體視頻數據的冗余信息、重復信息較多等特點，提供一種能夠結合視頻的視覺信息和與主題相關的先驗信息，利用超圖主集聚類思想和最大邊際相關思想的多視頻摘要方法。