[發(fā)明專利]視頻關(guān)鍵幀提取方法

有效

• 申請?zhí)枺?/td>: 201810890069.4
• 申請日: 2018-08-07
• 公開（公告）號: CN109151616B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計）人: 張云佐;張莎莎;樸春慧;沙金;鄭麗娟;霍磊;王歡;耿鵬;袁凌利
• 申請（專利權(quán)）人: 石家莊鐵道大學(xué)
• 主分類號: H04N21/8549
• 分類號: H04N21/8549;H04N21/44;H04N21/488;H04N21/435
• 代理公司: 石家莊輕拓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 13128
• 代理人: 王占華

1.一種視頻關(guān)鍵幀提取方法，其特征在于包括如下步驟：

提取具有字幕的視頻的時空字幕，所述的視頻時空字幕提取方法如下：

視頻時空字幕是通過對視頻進行時空采樣得到，對于視頻V(x,y,t)，其時空字幕S表示為：

式中：表示視頻V中位置x＝j(luò),t＝i,y取字幕高度中值處的像素，滿足j∈[1,W],i∈[1,L]，W表示視頻幀的寬度，L表示視頻的長度；

計算提取的時空字幕視覺能量SSVE，所述視頻時空字幕視覺能量的計算方法如下：

視頻V(x,y,t)中第i幀的時空字幕視覺能量SSVE由下式計算得到：

式中：

τ用于量度視頻時空字幕的像素亮度，亮度值低于τ的像素將被視為干擾而去除掉，表示像素視覺能量；

根據(jù)提取的時空字幕視覺能量SSVE，生成SSVE曲線；

所述SSVE曲線的生成方法如下：

視頻時空字幕視覺能量曲線可以公式化為：

SSVE＝SSVE(1)∪SSVE(2)∪…SSVE(i)…∪SSVE(L) (4)

SSVE(i)表示第i幀時空字幕視覺能量；

檢測SSVE曲線，并根據(jù)SSVE曲線提取關(guān)鍵幀，所述關(guān)鍵幀是指視頻中字幕出現(xiàn)時刻的視頻幀；根據(jù)SSVE曲線提取關(guān)鍵幀的方法如下：

不同字幕之間會有時間空隙，新的字幕出現(xiàn)會使SSVE瞬間增大；因此，通過檢測SSVE曲線的上升沿便可以得到字幕幀的出現(xiàn)時刻，所述SSVE曲線的上升沿記為RE，RE定義為：

式中：w₀表示新字幕幀與其前一字幕幀的SSVE差異顯著程度閾值，SSVE_max為視頻字幕幀的SSVE最大值，SSVE(i+1)表示第(i+1)幀的時空字幕視覺能量；

按照公式(5)計算得到RE曲線，曲線峰值對應(yīng)的視頻字幕幀即為所要提取的關(guān)鍵幀。

2.如權(quán)利要求1所述的視頻關(guān)鍵幀提取方法，其特征在于：

當(dāng)需要的關(guān)鍵幀數(shù)目N已經(jīng)給定，并且和RE曲線峰值個數(shù)M不等時，做如下處理：

(1)如果N＜M，對RE曲線峰值做降序排列，提取前N個曲線峰值對應(yīng)的視頻字幕幀做為視頻關(guān)鍵幀；

(2)如果N＞M，采用插值算法得到額外的(N-M)個視頻關(guān)鍵幀。