[發明專利]一種情感激勵下的視頻關鍵幀自適應提取方法

有效

• 申請號: 201410248555.8
• 申請日: 2014-06-06
• 公開（公告）號: CN104008175B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 余春艷;翁子林;蘇晨涵;葉東毅;陳昭炯
• 申請（專利權）人: 福州大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T7/20
• 代理公司: 福州元創專利商標代理有限公司35100
• 代理人: 蔡學俊

技術領域

本發明涉及視頻圖像處理領域，特別是一種情感激勵下的視頻關鍵幀自適應提取方法。

背景技術

近年來多媒體技術的發展以及便攜視頻設備的普及催生出越來越多的視頻數據，如何對這些數據進行快速瀏覽與高效管理成為一個亟待解決的問題。人的時間精力與視頻的增長速度不成正比。一方面，人的時間跟精力是有限的，無法全部瀏覽自己感興趣的視頻；另一方面，視頻數量不斷暴漲。比如，對于體育視頻愛好者來說，由于各方面的因素他們無法瀏覽一段時間內的全部比賽視頻。事實上，他們可能只關注每場比賽的一些關鍵瞬間。為節省時間，需要對視頻內容進行一定的分析，提取出其中的視頻關鍵幀讓用戶盡可能快速地了解整段視頻。

視頻關鍵幀提取技術為用戶能夠快速了解視頻片段提供了可能，為視頻摘要以及視頻檢索提供了技術支撐。由于視頻關鍵幀最終將服務于用戶，因此如何充分考慮視頻觀看者情感變化以及視頻的情感語義變化情況，從視頻情感語義上更好地指導視頻關鍵幀提取成為目前研究的重點問題之一。

傳統的視頻關鍵幀提取方法主要基于低層物理特征進行分析，沒有從高層情感語義的角度分析問題。視頻關鍵幀的一個很重要的特性在于它一般要服務于用戶，沒有從視頻觀看者的角度思考問題，沒有從情感語義上定位視頻關鍵幀往往導致所提取的視頻關鍵幀缺乏一定的價值性和代表性。這類方法大多基于聚類或者基于運動分析。因此，目前本領域相關技術人員需要解決的技術問題在于：如何考慮視頻觀看者情感變化以及視頻的情感語義變化情況，從視頻情感語義上指導視頻關鍵幀提取，使提取出來的視頻關鍵幀更具有代表性和有效性。

發明內容

本發明的目的在于提供一種情感激勵下的視頻關鍵幀自適應提取方法，使得在視頻情感語義的指導下所提取的視頻關鍵幀更具有代表性和有效性，并且實現鏡頭關鍵幀數目的合理分配。

為實現上述目的，本發明的技術方案是：一種情感激勵下的視頻關鍵幀自適應提取方法，包括如下步驟，

步驟S1：從視頻鏡頭中提取出所有視頻幀并計算每個視頻幀的視覺情感激勵度????????????????????????????????????????????????；

步驟S2：計算與步驟S1中每個視頻幀同步的音頻數據的聽覺情感激勵度；

步驟S3：通過線性加權的方式將視覺情感激勵度與聽覺情感激勵度融合，二者權重相等，得出每個視頻幀的視頻情感激勵度，最后根據各鏡頭的視頻情感激勵情況自適應地計算出鏡頭的視頻關鍵幀數目KN；

步驟S4：根據鏡頭內所有視頻幀的視頻情感激勵度得到鏡頭的視頻情感激勵度曲線，在鏡頭的視頻情感激勵度曲線中選取視頻情感激勵度最高的前KN個波峰所對應的視頻幀作為鏡頭的視頻關鍵幀。

在本發明實施例中，所述步驟S1所述視頻幀的視覺情感激勵度的提取，是根據視頻幀的運動強度按照以下方案實現：

步驟S11：用橫向R-1、縱向C-1條平行線把每個視頻幀分成R·C個子塊，其中，R、C為自然數，且R>1，C>1；

步驟S12：計算當前視頻幀與相鄰的前一幀在對應像素點的像素差絕對值，根據像素差值絕對值計算當前幀在該像素點的運動強度；用表示像素點(i,j)的運動強度，若像素差值絕對值大于閾值，則認為該像素點發生運動，將置為1，反之為0；

步驟S13：根據所述子塊內發生運動的像素比例來計算子塊的運動強度；用表示當前幀在第i個子塊的運動強度，子塊內發生運動的像素點比例超過閾值就認為該子塊發生運動，將該子塊的運動強度置為1，反之為0；

步驟S14：根據當前視頻幀發生運動的子塊數占所有子塊數的比例來計算視頻幀的運動強度，即視覺情感激勵度。

在本發明實施例中，所述步驟S2所述視頻幀的同步音頻數據的聽覺情感激勵度的提取，是根據音頻幀的短時平均能量和音調按照以下方案計算得到：

步驟S21：將所述視頻幀的同步音頻數據進行音頻分幀處理，音頻幀之間有50%重疊，得到AN個音頻幀；

步驟S22：計算每個音頻幀的短時能量Energy，取AN個音頻幀的平均短時能量作為所述視頻幀所對應的聲音能量情感激勵度；

步驟S23：計算每個音頻幀的音調Pitch，取AN個音頻幀的平均音調作為所述視頻幀所對應的音調情感激勵度；

步驟S24：所述視頻幀的同步音頻數據的聽覺情感激勵度由以及相加得到，即。

在本發明實施例中，所述步驟S3所述的鏡頭視頻關鍵幀數目KN的自適應計算方法按照以下方案實現：