[發明專利]一種情感激勵下的視頻關鍵幀自適應提取方法

有效

• 申請號: 201410248555.8
• 申請日: 2014-06-06
• 公開（公告）號: CN104008175B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 余春艷;翁子林;蘇晨涵;葉東毅;陳昭炯
• 申請（專利權）人: 福州大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T7/20
• 代理公司: 福州元創專利商標代理有限公司35100
• 代理人: 蔡學俊

1.一種情感激勵下的視頻關鍵幀自適應提取方法，其特征在于：包括如下步驟，

步驟S1：從視頻鏡頭中提取出所有視頻幀并計算每個視頻幀的視覺情感激勵度????????????????????????????????????????????????；

步驟S2：計算與步驟S1中每個視頻幀同步的音頻數據的聽覺情感激勵度；

步驟S3：通過線性加權的方式將視覺情感激勵度與聽覺情感激勵度融合，二者權重相等，得出每個視頻幀的視頻情感激勵度，最后根據各鏡頭的視頻情感激勵情況自適應地計算出鏡頭的視頻關鍵幀數目KN；

步驟S4：根據鏡頭內所有視頻幀的視頻情感激勵度得到鏡頭的視頻情感激勵度曲線，在鏡頭的視頻情感激勵度曲線中選取視頻情感激勵度最高的前KN個波峰所對應的視頻幀作為鏡頭的視頻關鍵幀。

2.根據權利要求1所述的一種情感激勵下的視頻關鍵幀自適應提取方法，其特征在于：所述步驟S1所述視頻幀的視覺情感激勵度的提取，是根據視頻幀的運動強度按照以下方案實現：

步驟S11：用橫向R-1、縱向C-1條平行線把每個視頻幀分成R·C個子塊，其中，R、C為自然數，且R>1，C>1；

步驟S12：計算當前視頻幀與相鄰的前一幀在對應像素點的像素差絕對值，根據像素差值絕對值計算當前幀在該像素點的運動強度；用表示像素點(i,j)的運動強度，若像素差值絕對值大于閾值，則認為該像素點發生運動，將置為1，反之為0；

步驟S13：根據所述子塊內發生運動的像素比例來計算子塊的運動強度；用表示當前幀在第i個子塊的運動強度，子塊內發生運動的像素點比例超過閾值就認為該子塊發生運動，將該子塊的運動強度置為1，反之為0；

步驟S14：根據當前視頻幀發生運動的子塊數占所有子塊數的比例來計算視頻幀的運動強度，即視覺情感激勵度。

3.根據權利要求1所述的一種情感激勵下的視頻關鍵幀自適應提取方法，其特征在于：所述步驟S2所述視頻幀的同步音頻數據的聽覺情感激勵度的提取，是根據音頻幀的短時平均能量和音調按照以下方案計算得到：

步驟S21：將所述視頻幀的同步音頻數據進行音頻分幀處理，音頻幀之間有50%重疊，得到AN個音頻幀；

步驟S22：計算每個音頻幀的短時能量Energy，取AN個音頻幀的平均短時能量作為所述視頻幀所對應的聲音能量情感激勵度；

步驟S23：計算每個音頻幀的音調Pitch，取AN個音頻幀的平均音調作為所述視頻幀所對應的音調情感激勵度；

步驟S24：所述視頻幀的同步音頻數據的聽覺情感激勵度由以及相加得到，即。

4.根據權利要求1所述的一種情感激勵下的視頻關鍵幀自適應提取方法，其特征在于：所述步驟S3所述的鏡頭視頻關鍵幀數目KN的自適應計算方法按照以下方案實現：

步驟S31：通過線性加權的方式將視覺情感激勵度與聽覺情感激勵度融合，二者權重相等，得出鏡頭中每個視頻幀的視頻情感激勵度；

步驟S32：計算當前鏡頭S_k的相鄰兩幀的視頻情感激勵度差異累加和均值，，其中，F(i)是第i視頻幀的視頻情感激勵度，N是鏡頭S_k內視頻幀的總數；

步驟S33：計算當前鏡頭S_k應分配到的視頻關鍵幀數目KN_k：，其中，KN_k表示分配給鏡頭S_k的視頻關鍵幀數目，Sum表示預設的視頻關鍵幀總數，M表示視頻序列的鏡頭數，是鏡頭S_k的的相鄰兩幀的視頻情感激勵度差異累加和均值，max()是求最大值操作；每個鏡頭至少有一幀視頻關鍵幀，此時鏡頭的視頻關鍵幀就是鏡頭視頻情感激勵度曲線最大值處所對應的視頻幀。

5.根據權利要4所述的一種情感激勵下的視頻關鍵幀自適應提取方法，其特征在于：所述步驟S33所述預設的視頻關鍵幀總數Sum由以下方案確定：賦予Sum初始值為視頻文件鏡頭總數的3倍，并且允許用戶通過交互的方式設定新值，所設定的新值不能低于視頻文件的鏡頭數；若用戶沒有設定新值，則Sum值為默認的初始值；反之，Sum值為用戶設定的合法值。