[發明專利]視頻分析中的場景關鍵幀提取方法及裝置

在審

• 申請號: 201610533798.5
• 申請日: 2016-07-07
• 公開（公告）號: CN107590420A
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 白永強;羅旻
• 申請（專利權）人: 北京新岸線網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于視頻分析檢索技術領域，尤其涉及一種視頻分析中的場景關鍵幀提取方法及裝置。

背景技術

隨著網絡技術的不斷發展，網絡視頻越來越普及，人們通過網絡搜索獲取自己想要觀看的視頻并在線觀看，網絡上視頻的數量也越來越多，因此，從海量視頻中搜索到用戶所需要的視頻，屬于視頻搜索領域中備受關注的問題。

傳統的視頻搜索技術，一般都是基于文字的視頻搜索技術，通常需要針對視頻文件進行人工注釋，但現在網絡上的視頻越來越多，對于大量的視頻文件逐一進行注釋工作量很大，需要大量的人力資源，增加人力成本，且效率低下。

因此，基于內容的視頻搜索技術開始興起，這種方式能夠自動提取視頻特征，方便用戶視頻搜索，從一定程度上避免上述缺點。用戶通過客戶端檢索工具實現視頻搜索，通過視頻分析獲取視頻的特征，以方便視頻檢索。這種方式需要準確的獲取視頻的特征，才能實現準確的視頻搜索匹配，現有的視頻檢索系統雖然包含一個視頻信息數據庫系統來存儲視頻的特征信息，但這些視頻信息往往僅包含人工輸入的視頻特征數據信息，信息形式單一、信息量小，難以滿足用戶的檢索需求。

為了改變視頻數據檢索的這種狀況，必須將無序的視頻數據有序化，從而建立基于內容的視頻檢索工具，讓用戶能隨時檢索到想要的視頻數據，讓視頻能自動地適應環境，可以互動式操作，快速地檢索，并在網上迅速、可靠地傳送。這就需要對視頻進行分析并提取其特征信息。

因此，在視頻分析過程中，如何實現全面準確的視頻特征信息的提取則成為亟待解決的技術問題。

發明內容

有鑒于此，本發明的一個目的是提供一種視頻分析中的場景關鍵幀提取方法及裝置，用以解決現有技術中存在不能全面、準確的提取用于視頻搜索的視頻特征信息的問題，通過對視頻場景的準確分割及場景關鍵幀提取使提取的視頻特征更全面準確。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

本發明實施例提供一種視頻分析中的場景關鍵幀提取方法，包括：

獲取待分析的視頻文件；

將所述視頻文件分給為若干視頻鏡頭，從分割出的各個視頻鏡頭中提取能夠代表鏡頭主要內容的鏡頭關鍵幀；

對分割出的視頻鏡頭包含的鏡頭關鍵幀進行關鍵幀聚類，將各個鏡頭關鍵幀歸類到不同的關鍵幀聚類中；

將時間上連續、鏡頭關鍵幀屬于相同關鍵幀聚類的視頻鏡頭，組合成視頻場景；

從分割出的各個視頻場景中提取能夠代表場景主要特征的場景關鍵幀。

在一些可選的實施例中，所述將所述視頻文件分給為若干視頻鏡頭，具體包括：

在設定的滑動窗口中，計算相鄰兩個視頻幀之間的距離；

根據每個滑動窗口中各相鄰視頻幀之間的距離，確定對視頻文件進行鏡頭分割的分割點；

根據確定出的分割點，將所述視頻文件分割為若干視頻鏡頭。

在一些可選的實施例中，所述對分割出的視頻鏡頭包含的鏡頭關鍵幀進行關鍵幀聚類，將各個鏡頭關鍵幀歸類到不同的關鍵幀聚類中，具體包括：

針對每個鏡頭關鍵幀：

計算當前關鍵幀與設定的關鍵幀聚類的質心的距離，如果該距離大于設定的該關鍵幀聚類的距離閾值，則當前關鍵幀不加入該關鍵幀聚類中；否則記錄該關鍵幀聚類為當前關鍵幀的備選關鍵幀聚類；

如果當前關鍵幀與設定的所有設定的關鍵幀聚類的質心的距離均大于設定的閾值，則以當前幀為質心形成新的關鍵幀聚類；

否則從記錄的當前幀的備選關鍵幀聚類中選擇與當前關鍵幀相似度最大的關鍵幀聚類加入。

在一些可選的實施例中，當一個視頻鏡頭中的鏡頭關鍵幀不止一個時，確定每個鏡頭關鍵幀所屬的關鍵幀聚類，將包含鏡頭關鍵幀最多的一個關鍵幀聚類作為該視頻鏡頭的關鍵幀聚類，用于確定該視頻鏡頭是否與時間上相鄰的視頻鏡頭屬于相同的關鍵幀聚類。

在一些可選的實施例中，所述從分割出的各個視頻場景中提取能夠代表場景主要特征的場景關鍵幀，具體包括：

針對分割出的每個視頻場景：

將視頻場景中包含的各視頻幀，歸類到不同的視頻幀聚類中；

從每個視頻幀聚類中抽取離聚類質心最近的視頻幀作為該聚類的代表幀；

由抽取出的所有代表幀組成該場景關鍵幀。

本發明實施例還提供一種視頻分析中的場景關鍵幀提取裝置，包括：