[發明專利]用于生成視頻摘要的方法和系統

有效

• 申請號: 201810874321.2
• 申請日: 2018-08-03
• 公開（公告）號: CN110798752B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 曾建平;吳立薪;呂晶晶;包勇軍
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04N21/8549
• 分類號: H04N21/8549;G06N3/04
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 李浩;方亮

1.一種用于生成視頻摘要的方法，包括：

根據視頻場景的變化將視頻切分為多個鏡頭，其中每個鏡頭為一段內容連續的視頻場景；

計算每個鏡頭的重要性分值；

計算每個鏡頭與所宣傳商品圖片的相似度，并利用所述相似度修正鏡頭的重要性分值；

在所述多個鏡頭中識別出展現關鍵特征的鏡頭；以及

從所述展現關鍵特征的鏡頭中選取主鏡頭，并從所述多個鏡頭中的剩余鏡頭中選取輔助鏡頭，將所述主鏡頭和所述輔助鏡頭作為所選取的一組鏡頭，并將該組鏡頭拼接成視頻摘要，其中，在滿足視頻摘要總時長的約束條件的情況下，所選取的該組鏡頭的總的重要性分值最大。

2.根據權利要求1所述的方法，其中，計算每個鏡頭的重要性分值的步驟包括：

利用三維卷積網絡對每個鏡頭提取特征向量，獲得鏡頭集合的特征向量序列；以及

將所述特征向量序列輸入到預先訓練的鏡頭重要性分值計算網絡以計算每個鏡頭的重要性分值。

3.根據權利要求2所述的方法，其中，在將視頻切分為多個鏡頭之前，所述方法還包括：

采用強化學習的方法對鏡頭重要性分值計算網絡進行訓練，其中，所述強化學習的方法所包含的關鍵元素包括：行動和價值獎勵函數，所述價值獎勵函數包含：多樣性指標和代表性指標。

4.根據權利要求1所述的方法，其中，所述關鍵特征包括商品品牌商標和商品品牌文字中的至少一個。

5.根據權利要求4所述的方法，其中，在所述多個鏡頭中識別出展現關鍵特征的鏡頭的步驟包括：

使用基于深度學習的對象檢測方法檢測視頻的每幀圖像中的商標區域；以及將商標區域的圖像輸入到預先訓練的深度模型提取嵌入特征向量，并將所述嵌入特征向量與數據庫中的商標圖像的特征向量進行比對，獲取商標的品牌類型，從而識別出展現商品品牌商標的鏡頭；或者，

使用基于深度學習的光學字符識別方法識別視頻的每幀圖像中的文字；以及對文字進行分詞處理，并將處理后的文字與數據庫中的品牌文字進行匹配，保留與商品品牌相關的文字，從而識別出展現商品品牌文字的鏡頭。

6.根據權利要求1所述的方法，其中，

從所述展現關鍵特征的鏡頭中選取主鏡頭的步驟包括：如果從所述展現關鍵特征的鏡頭中選取的鏡頭為視頻的最前面N_g個鏡頭或最后面N_g個鏡頭，則確定該最前面N_g個鏡頭或該最后面N_g個鏡頭為主鏡頭，N_g為正整數；

從所述多個鏡頭中的剩余鏡頭中選取輔助鏡頭，將所述主鏡頭和所述輔助鏡頭作為所選取的一組鏡頭的步驟包括：從所述多個鏡頭中的剩余鏡頭中選取輔助鏡頭，將所述主鏡頭和所述輔助鏡頭作為所選取的一組鏡頭，使得所選取的該組鏡頭在滿足視頻摘要總時長的約束條件的情況下總的重要性分值最大；

將該組鏡頭拼接成視頻摘要的步驟包括：將所述主鏡頭和所述輔助鏡頭按照時間順序拼接成視頻摘要。

7.根據權利要求1所述的方法，其中，計算每個鏡頭與所宣傳商品圖片的相似度，并利用所述相似度修正鏡頭的重要性分值的步驟包括：

計算所宣傳商品圖片的特征向量；

對每個鏡頭的多幀圖像進行采樣以獲得采樣幀，并計算每個鏡頭的采樣幀的特征向量；

根據所述商品圖片的特征向量和每個鏡頭的采樣幀的特征向量計算每個鏡頭與所述商品圖片的相似度；以及

根據所述相似度和預設的相似度閾值對每個鏡頭的重要性分值進行修正。