[發(fā)明專利]一種基于稀疏自編碼器的多視頻摘要方法

有效

• 申請?zhí)枺?/td>: 201711113383.3
• 申請日: 2017-11-10
• 公開（公告）號: CN107911755B
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 冀中;馬亞茹
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N21/8549
• 分類號: H04N21/8549
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

1.一種基于稀疏自編碼器的多視頻摘要方法，其特征在于，包括如下步驟：

1)提取視頻幀的視覺特征，將視頻幀的視覺特征表示為X＝{x₁,x₂,...,x_i,...,x_n},x_i∈R^m；x_i表示第i幀的視覺特征；

2)將視頻幀的視覺特征輸入到稀疏自編碼器，通過稀疏自編碼器分別學(xué)習(xí)得到：視頻幀的壓縮表示即隱層的神經(jīng)元的表征，輸入層和隱層之間的連接權(quán)重W⁽¹⁾，以及隱層和輸出層的連接權(quán)重W⁽²⁾；

3)利用獲得的輸入層和隱層之間的連接權(quán)重W⁽¹⁾生成權(quán)重曲線，即所述權(quán)重W⁽¹⁾的第j列取2范數(shù)，用公式表示為

4)選擇權(quán)重曲線的各局部最大值作為關(guān)鍵幀集合；

5)對關(guān)鍵幀進行排序，實現(xiàn)摘要，包括：

(1)將包含k個元素的關(guān)鍵幀集合分成k個子集合；

(2)分別計算k個子集合中每兩個子集合之間的時間相關(guān)度，得到k個子集合的時間相關(guān)度向量F_chro；每兩個子集合之間的時間相關(guān)度計算公式如下，即向量F_chro的任意一個元素計算公式：

其中A和B表示k個子集合中的任意兩個集合；a_l表示集合A中的最后一幀，b₁表示集合B中的第一幀；T(a_l)表示幀a_l的時間；V(a_l)表示幀a_l所在的視頻，N(a_l)表示幀a_l在視頻中的幀的排序數(shù)，即第幾幀；V(b_l)表示幀b_l所在的視頻，N(b_l)表示幀b_l在視頻中的幀的排序數(shù)，即第幾幀；V(a_l)＝V(b₁)表示幀a_l和幀b₁屬于同一個視頻，V(a_l)≠V(b₁)表示幀a_l和幀b₁不屬于同一個視頻，N(a_l)＜N(b₁)表示幀a_l在同一個視頻中出現(xiàn)的順序早于幀b₁；f_chro(A＞B)表示集合A排在集合B前面的時間相關(guān)度；

(3)計算k個子集合每兩個子集合之間的話題緊密度，得到k個子集合的話題緊密度向量F_topic；每兩個子集合之間的話題緊密度計算公式如下，即向量F_topic的任意一個元素計算公式：

其中sim(a,b)表示屬于集合A中的任意幀a與屬于集合B中的任意幀b之間的余弦相似度，f_topic(A＞B)表示集合A排在集合B前面的話題緊密度；

(4)將時間相關(guān)度向量與話題緊密度向量疊加得到k個子集合的相關(guān)度向量F，計算公式如下：

F＝F_chro+F_topic

并根據(jù)k個子集合的相關(guān)度向量對關(guān)鍵幀進行排序：首先選出相關(guān)度最大的兩個子集合合并成一個新的集合，然后再將剩余子集合之間按照相關(guān)度大小順序進行兩兩組合，形成多個新的集合；

(5)對所有生成的新的集合重復(fù)第(2)、(3)、(4)步的計算，直至所有的視頻幀均包含在一個集合中，此時迭代結(jié)束；

(6)對第(5)步得到的一個集合中的視頻幀按照視頻幀的索引順序進行排序，實現(xiàn)摘要。

2.根據(jù)權(quán)利要求1所述的一種基于稀疏自編碼器的多視頻摘要方法，其特征在于，步驟1)所述的視頻幀的視覺特征是深度特征、顏色特征和視覺詞袋特征中的一種。

3.根據(jù)權(quán)利要求1所述的一種基于稀疏自編碼器的多視頻摘要方法，其特征在于，步驟4)所述的局部是指將權(quán)重曲線的橫坐標(biāo)對應(yīng)的視頻幀索引按照設(shè)定的間隔分成多個局部空間，并在每個局部空間內(nèi)將權(quán)重曲線最大值對應(yīng)的幀作為關(guān)鍵幀。