[發明專利]視頻摘要生成方法、裝置、存儲介質和電子設備

有效

• 申請號: 201811229502.6
• 申請日: 2018-10-22
• 公開（公告）號: CN109348287B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 馮俐銅;曠章輝;張偉
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/84;H04N21/8549;G06F16/71;G06F16/73;G06F16/75
• 代理公司: 北京之于行知識產權代理有限公司 11767
• 代理人: 韓岳

本公開實施例提供一種視頻摘要生成方法、裝置、存儲介質和電子設備。其中，視頻摘要生成方法包括：獲取視頻序列中的多個第一關鍵幀；基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀；基于所述第一風格對應的至少一個有效關鍵幀，生成所述第一風格的視頻摘要。采用本公開實施例的技術方案，能夠自動生成特定風格的視頻摘要，可以有效地避免人工提取摘要造成的巨大工作量，從而提高視頻摘要生成效率，并節省視頻摘要生成成本。

技術領域

本公開實施例涉及計算機視覺技術領域，尤其涉及一種視頻摘要生成方法、裝置、計算機可讀存儲介質和電子設備。

背景技術

隨著互聯網技術的不斷發展與普及，互聯網視頻(包括傳統的視頻平臺和新出現的短視頻APP)逐漸成為用戶觀看視頻的主要方式，網絡視頻的數量也呈現爆發性增長。但是，面對海量的電影、電視劇、以及綜藝節目，觀眾很難在短時間做出喜好選擇。為了方便用戶的觀看，同時也為了增加用戶的點擊量，視頻平臺可以從每部視頻中提取出內容摘要供觀眾快速瀏覽，內容摘要只包含了視頻中的精彩剪輯，可以有效的幫助用戶找到符合自身觀賞偏好的視頻。

目前，視頻內容摘要主要采取人工提取的方式進行，這要求工作人員先完成地觀看目標視頻，并對目標視頻中發生的故事以及精彩之處進行記錄，然后篩選出視頻摘要。人工提取每個視頻摘要都是一個高強度勞動，對于視頻平臺上的海量視頻，對每一個視頻進行視頻摘要的人工提取是不現實的。

發明內容

本公開實施例的目的在于，提供一種視頻摘要生成技術。

根據本公開實施例的一方面，提供一種視頻摘要生成方法，包括：獲取視頻序列中的多個第一關鍵幀；基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀；基于所述第一風格對應的至少一個有效關鍵幀，生成所述第一風格的視頻摘要。

可選地，所述獲取視頻序列中的多個第一關鍵幀，包括：對所述視頻序列進行鏡頭分割處理，獲得多個第一鏡頭，每個第一鏡頭包括所述視頻序列中的多個圖像幀；對所述多個第一鏡頭進行關鍵幀提取處理，獲得多個第一關鍵幀。

可選地，所述第一風格的摘要字典包括所述第一風格對應的聚類特征數據。

可選地，所述聚類特征數據包括至少一個聚類特征，其中，所述聚類特征是基于與所述第一風格對應的聚類簇中包括的多個樣本圖像的特征數據得到的。

可選地，所述基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀，包括：獲取所述多個第一關鍵幀中每個第一關鍵幀的特征數據；根據所述多個第一關鍵幀中每個第一關鍵幀的特征數據和所述第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀。

可選地，所述根據所述多個第一關鍵幀中每個第一關鍵幀的特征數據和第一風格的摘要字典，從所述多個第一關鍵幀中獲取所述第一風格對應的至少一個有效關鍵幀，包括：基于所述多個第一關鍵幀中每個第一關鍵幀的特征數據，確定所述每個第一關鍵幀是否與所述第一風格的摘要字典匹配；將所述多個第一關鍵幀中與所述第一風格的摘要字典匹配的第一關鍵幀確定為所述第一風格對應的有效關鍵幀。

可選地，所述基于所述多個第一關鍵幀中每個第一關鍵幀的特征數據，確定所述每個第一關鍵幀是否與所述第一風格的摘要字典匹配，包括：響應于所述第一關鍵幀的特征數據與所述第一風格的摘要字典包含的至少一個聚類特征之間的最小距離小于或等于預設距離閾值，將所述第一關鍵幀確定為所述第一風格對應的有效關鍵幀；或者，響應于所述第一風格的摘要字典包含的至少一個聚類特征中存在與所述第一關鍵幀的特征數據匹配的聚類特征，將所述第一關鍵幀確定為所述第一風格對應的有效關鍵幀。