[發(fā)明專利]基于多視圖特征的視頻關(guān)鍵幀提取方法、系統(tǒng)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910589924.2
• 申請(qǐng)日: 2019-07-02
• 公開（公告）號(hào): CN110472484B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 呂晨;梁飛;柴春蕾;李睿;馬艷玲;劉佳林;呂蕾;劉弘
• 申請(qǐng)（專利權(quán)）人: 山東師范大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06F16/738
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于多視圖特征的視頻關(guān)鍵幀提取方法，其特征是，包括如下步驟：

采樣步驟：設(shè)定采樣率對(duì)原始視頻流進(jìn)行采樣，將視頻流提取為若干幀圖像；

鏡頭劃分步驟：應(yīng)用平均哈希法AHA對(duì)提取的所有幀計(jì)算每連續(xù)相鄰兩幀圖像哈希值的漢明距離，若漢明距離大于閾值則判定為鏡頭邊界，否則不劃分鏡頭邊界；

特征提取步驟：對(duì)采樣步驟提取的每一幀圖像分別提取三種特征值：RGB特征值、HSV特征值和LBP特征值；

關(guān)鍵幀提取步驟：根據(jù)鏡頭劃分步驟中的鏡頭劃分結(jié)果，在每個(gè)鏡頭內(nèi)分別對(duì)提取的RGB、HSV和LBP特征值進(jìn)行單核心聚類計(jì)算，將聚類結(jié)果歸一化處理后進(jìn)行求和運(yùn)算，取求和結(jié)果最小的幀為該鏡頭的關(guān)鍵幀。

2.如權(quán)利要求1所述的方法，其特征是，設(shè)定采樣率對(duì)原始視頻流進(jìn)行采樣，將視頻流提取為若干幀圖像；具體步驟包括：

步驟(1-1)：根據(jù)公式定義采樣率r，F(xiàn)PS為原始視頻的幀率，C為設(shè)定常數(shù)；

步驟(1-2)：獲取原始視頻流，遍歷原始視頻流中每一幀對(duì)視頻流每隔r幀提取一幀保存為幀圖像。

3.如權(quán)利要求1所述的方法，其特征是，應(yīng)用平均哈希法AHA對(duì)提取的所有幀計(jì)算每連續(xù)相鄰兩幀圖像哈希值的漢明距離，若漢明距離大于閾值則判定為鏡頭邊界，否則不劃分鏡頭邊界；具體步驟包括：

步驟(2-1)：設(shè)置窗口大小為SW_size，滑動(dòng)步長(zhǎng)為SW_step的滑動(dòng)窗口SW，對(duì)提取的所有幀圖像以滑動(dòng)窗口的形式遍歷；

步驟(2-2)：對(duì)遍歷過程中每個(gè)狀態(tài)下滑動(dòng)窗口SW，由平均哈希法計(jì)算SW內(nèi)所有圖像的哈希值序列；

步驟(2-3)：計(jì)算步驟(2-2)中滑動(dòng)窗口SW內(nèi)相鄰幀圖像哈希序列的漢明距離，若漢明距離大于閾值則標(biāo)記窗口SW內(nèi)的后一幀為鏡頭邊界，該幀至上一鏡頭邊界幀之間的所有幀標(biāo)記為同一鏡頭；若漢明距離小于閾值則不做處理，繼續(xù)下一幀滑動(dòng)窗口檢測(cè)；

步驟(2-4)：記錄步驟(2-3)中所有的鏡頭邊界幀索引，劃分鏡頭完成。

4.如權(quán)利要求1所述的方法，其特征是，提取特征值，具體步驟包括：

步驟(3-1)：根據(jù)公式計(jì)算步驟(1)中提取的每一幀圖像的RGB特征值V_RGB，R_i、G_i、B_i分別表示圖像中第i個(gè)像素色彩值在紅色通道R、綠色通道G、藍(lán)色通道B上的分量值，n為圖像像素總數(shù)；

步驟(3-2)：根據(jù)公式計(jì)算每一幀圖像的HSV特征值V_HSV，H_i、S_i、V_i分別表示圖像中第i個(gè)像素色彩值在色調(diào)H、飽和度S、亮度V上的分量值，n為圖像像素總數(shù)；

步驟(3-3)：利用改進(jìn)的LBP算子計(jì)算每一幀圖像的LBP特征值V_LBP＝[F₀,F₁,F₂,…,F_LBP-max]，其中LBP-max為V_LBP的最大維度索引常數(shù)，F(xiàn)_i,0≤i≤(LBP-max)為V_LBP在每一維度上的常數(shù)值；

步驟(3-4)：記錄保存步驟(3-1)到步驟(3-3)中提取每一幀圖像的RGB特征值、HSV特征值和LBP特征值，提取特征值完成。