[發(fā)明專利]基于多視圖特征的視頻關鍵幀提取方法、系統(tǒng)及設備

有效

• 申請?zhí)枺?/td>: 201910589924.2
• 申請日: 2019-07-02
• 公開（公告）號: CN110472484B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設計）人: 呂晨;梁飛;柴春蕾;李睿;馬艷玲;劉佳林;呂蕾;劉弘
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06F16/738
• 代理公司: 濟南圣達知識產(chǎn)權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于多視圖特征的視頻關鍵幀提取方法、系統(tǒng)及設備，設定采樣率對原始視頻流進行采樣，將視頻流提取為若干幀圖像；應用平均哈希法AHA對提取的所有幀計算每連續(xù)相鄰兩幀圖像哈希值的漢明距離，若漢明距離大于閾值則判定為鏡頭邊界，否則不劃分鏡頭邊界；對采樣步驟提取的每一幀圖像分別提取三種特征值：RGB特征值、HSV特征值和LBP特征值；根據(jù)鏡頭劃分步驟中的鏡頭劃分結果，在每個鏡頭內(nèi)分別對提取的RGB、HSV和LBP特征值進行單核心聚類計算，將聚類結果歸一化處理后進行求和運算，取求和結果最小的幀為該鏡頭的關鍵幀。提取的關鍵幀更具有代表性，增強了算法的魯棒性，提高了提取視頻摘要的可讀性。

技術領域

本公開涉及視頻關鍵幀提取與視頻摘要自動化生成領域，特別是涉及基于多視圖特征的視頻關鍵幀提取方法、系統(tǒng)及設備。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現(xiàn)有技術。

在實現(xiàn)本公開的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術中存在以下技術問題：

視頻數(shù)據(jù)是一種典型的非結構化數(shù)據(jù)，其數(shù)據(jù)模型不清晰、數(shù)據(jù)結構不規(guī)則的特點使其比結構化數(shù)據(jù)更難以標準化，決定了一般的數(shù)據(jù)管理方法無法對其進行有效的檢索和處理，例如基于關鍵幀提取的視頻摘要等應用。當前，在視頻關鍵幀提取領域，利用聚類算法提取關鍵幀已被廣泛應用，但傳統(tǒng)的基于聚類的關鍵幀提取算法有以下弊端：

(1)需要依賴閾值輸入來界定聚類核心的數(shù)目，閾值大小將直接或間接決定關鍵幀提取的數(shù)目，進而影響關鍵幀提取效果；

(2)將提取特征值后的每一幀視為同等無差別的基本元素來處理，導致幀之間的順序關系錯亂，形成的視頻摘要無法體現(xiàn)原有視頻內(nèi)容的情節(jié)發(fā)展；

(3)利用幀圖像的顏色直方圖作為圖像特征值，忽略掉圖像的輪廓、亮度、飽和度等特征信息導致特征值提取不夠充分。

上述問題不同程度上影響了關鍵幀提取的可靠性，也從根本上決定了一般的關鍵幀提取方法存在適用場景單一、魯棒性差等不足。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術的不足，本公開提供了基于多視圖特征的視頻關鍵幀提取方法、系統(tǒng)及設備；該方法通過分割鏡頭、按序提取關鍵幀和綜合利用圖像輪廓特征值使提取的關鍵幀更具有代表性，增強了算法的魯棒性，提高了提取視頻摘要的可讀性。

第一方面，本公開提供了基于多視圖特征的視頻關鍵幀提取方法；

基于多視圖特征的視頻關鍵幀提取方法，包括如下步驟：

采樣步驟：設定采樣率對原始視頻流進行采樣，將視頻流提取為若干幀圖像；

鏡頭劃分步驟：應用平均哈希法(Average Hash Algorithm，AHA)對提取的所有幀計算每連續(xù)相鄰兩幀圖像哈希值的漢明距離，若漢明距離大于閾值則判定為鏡頭邊界，否則不劃分鏡頭邊界；

特征提取步驟：對采樣步驟提取的每一幀圖像分別提取三種特征值：RGB (RGBcolor mode，RGB色彩模式)特征值、HSV(Hexcone Model，六角錐體模型)特征值和LBP(Local Binary Pattern，局部二值模式)特征值；

關鍵幀提取步驟：根據(jù)鏡頭劃分步驟中的鏡頭劃分結果，在每個鏡頭內(nèi)分別對提取的RGB、HSV和LBP特征值進行單核心聚類計算，將聚類結果歸一化處理后進行求和運算，取求和結果最小的幀為該鏡頭的關鍵幀。

第二方面，本公開還提供了基于多視圖特征的視頻關鍵幀提取系統(tǒng)；

基于多視圖特征的視頻關鍵幀提取系統(tǒng)，包括：

采樣模塊，其被配置為設定采樣率對原始視頻流進行采樣，將視頻流提取為若干幀圖像；