[發明專利]視頻摘要生成方法、裝置、存儲介質和電子設備

有效

• 申請號: 201811229502.6
• 申請日: 2018-10-22
• 公開（公告）號: CN109348287B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 馮俐銅;曠章輝;張偉
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/84;H04N21/8549;G06F16/71;G06F16/73;G06F16/75
• 代理公司: 北京之于行知識產權代理有限公司 11767
• 代理人: 韓岳

1.一種視頻摘要生成方法，其特征在于，包括：

獲取視頻序列中的多個第一關鍵幀；

基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀，所述第一風格的摘要字典包括所述第一風格對應的聚類特征數據，所述聚類特征數據包括至少一個聚類特征，其中，所述聚類特征是基于與所述第一風格對應的聚類簇中包括的多個樣本圖像的特征數據得到的；

基于所述第一風格對應的至少一個有效關鍵幀，生成所述第一風格的視頻摘要。

2.根據權利要求1所述的方法，其特征在于，所述獲取視頻序列中的多個第一關鍵幀，包括：

對所述視頻序列進行鏡頭分割處理，獲得多個第一鏡頭，每個第一鏡頭包括所述視頻序列中的多個圖像幀；

對所述多個第一鏡頭進行關鍵幀提取處理，獲得多個第一關鍵幀。

3.根據權利要求1所述的方法，其特征在于，所述基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀，包括：

獲取所述多個第一關鍵幀中每個第一關鍵幀的特征數據；

根據所述多個第一關鍵幀中每個第一關鍵幀的特征數據和所述第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀。

4.根據權利要求3所述的方法，其特征在于，所述根據所述多個第一關鍵幀中每個第一關鍵幀的特征數據和第一風格的摘要字典，從所述多個第一關鍵幀中獲取所述第一風格對應的至少一個有效關鍵幀，包括：

基于所述多個第一關鍵幀中每個第一關鍵幀的特征數據，確定所述每個第一關鍵幀是否與所述第一風格的摘要字典匹配；

將所述多個第一關鍵幀中與所述第一風格的摘要字典匹配的第一關鍵幀確定為所述第一風格對應的有效關鍵幀。

5.根據權利要求4所述的方法，其特征在于，所述基于所述多個第一關鍵幀中每個第一關鍵幀的特征數據，確定所述每個第一關鍵幀是否與所述第一風格的摘要字典匹配，包括：

響應于所述第一關鍵幀的特征數據與所述第一風格的摘要字典包含的至少一個聚類特征之間的最小距離小于或等于預設距離閾值，將所述第一關鍵幀確定為所述第一風格對應的有效關鍵幀；或者

響應于所述第一風格的摘要字典包含的至少一個聚類特征中存在與所述第一關鍵幀的特征數據匹配的聚類特征，將所述第一關鍵幀確定為所述第一風格對應的有效關鍵幀。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述方法還包括：

基于第二風格的摘要字典，從所述多個第一關鍵幀中確定所述第二風格對應的至少一個有效關鍵幀，其中，所述第二風格的摘要字典不同于所述第一風格的摘要字典；

基于所述第二風格對應的至少一個有效關鍵幀，生成所述第二風格的視頻摘要。

7.根據權利要求1至5中任一項所述的方法，其特征在于，所述基于所述第一風格對應的至少一個有效關鍵幀，生成所述第一風格的視頻摘要，包括：

根據時序信息將所述第一風格對應的至少一個有效關鍵幀按序排列，得到所述第一風格的視頻摘要。

8.根據權利要求1至5中任一項所述的方法，其特征在于，在所述基于第一風格的摘要字典，從所述多個第一關鍵幀中確定所述第一風格對應的至少一個有效關鍵幀之前，所述方法還包括：

獲取視頻序列樣本中的多個樣本圖像；

對所述多個樣本圖像進行聚類處理，得到所述第一風格對應的至少一個聚類簇；

基于所述第一風格對應的至少一個聚類簇，得到所述第一風格的摘要字典。

9.根據權利要求8所述的方法，其特征在于，所述多個樣本圖像為多個第二關鍵幀；

所述獲取視頻序列樣本中的多個樣本圖像，包括：

對所述視頻序列樣本進行鏡頭分割處理，獲得多個第二鏡頭；

對所述多個第二鏡頭進行關鍵幀提取，獲得多個第二關鍵幀。