[發明專利]視頻摘要生成模型的訓練方法、視頻摘要生成方法及裝置

在審

• 申請號: 202011057685.5
• 申請日: 2020-09-29
• 公開（公告）號: CN112231516A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 柴振華;王君巖;白楊;胡炳彰;龍洋
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/74;G06T7/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 唐述燦

本申請公開了一種視頻摘要生成模型的訓練方法、視頻摘要生成方法及裝置，屬于機器學習領域。該方法包括：獲取視頻樣本，從視頻樣本中確定出至少兩幀樣本圖像，每一幀樣本圖像標注有參考評分；調用視頻摘要生成模型分別對每一幀樣本圖像進行時間特征與空間特征的混合自注意力學習，得到樣本圖像在時間與空間上的混合特征向量；調用視頻摘要生成模型基于混合特征向量對樣本圖像進行評分，得到每一幀樣本圖像作為視頻摘要的重要性評分；基于參考評分與重要性評分之間的學習損失更新視頻摘要生成模型中的模型參數，最終得到訓練完成的視頻摘要生成模型。該方法使得模型能夠更充分的捕捉視頻的上下文信息，生成時序表達優秀的視頻摘要。

技術領域

本申請涉及機器學習領域，特別涉及一種視頻摘要生成模型的訓練方法、視頻摘要生成方法及裝置。

背景技術

隨著視頻資料在視頻平臺上的巨大增長，視頻摘要的生成研究越來越受到關注。

視頻摘要的生成可以采用機器模型來實現，示例性的，將視頻資源輸入到機器模型中，由機器模型學習出視頻資料的視頻摘要。

但是，一般的機器模型對于視頻上下文信息的捕捉能力不足，導致生成的視頻摘要的時序表達差。

發明內容

本申請實施例提供了一種視頻摘要生成模型的訓練方法、視頻摘要生成方法及裝置，能夠更充分的捕捉視頻的上下文信息，生成時序表達優秀的視頻摘要。所述技術方案如下：

根據本申請的一個方面，提供了一種視頻摘要生成模型的訓練方法，該方法包括：

獲取視頻樣本，從視頻樣本中確定出至少兩幀樣本圖像，每一幀樣本圖像標注有參考評分，參考評分是指樣本圖像作為視頻摘要的參考評分；

調用視頻摘要生成模型分別對每一幀樣本圖像進行時間特征與空間特征的混合自注意力學習，得到樣本圖像在時間與空間上的混合特征向量；

調用視頻摘要生成模型基于混合特征向量對樣本圖像進行評分，得到每一幀樣本圖像作為視頻摘要的重要性評分；

基于參考評分與重要性評分之間的學習損失更新視頻摘要生成模型中的模型參數，最終得到訓練完成的視頻摘要生成模型。

根據本申請的另一個方面，提供了一種視頻摘要生成方法，該方法包括：

獲取視頻，從視頻中確定出至少兩幀圖像；

調用視頻摘要生成模型分別對每一幀圖像進行時間特征與空間特征的混合自注意力學習，得到圖像在時間與空間上的混合特征向量；

調用視頻摘要生成模型基于混合特征向量對圖像進行評分，得到每一幀圖像作為視頻摘要的重要性評分；

調用視頻摘要生成模型基于重要性評分從至少兩幀圖像中確定出視頻摘要。

根據本申請的另一個方面，提供了一種視頻摘要生成模型的訓練裝置，該裝置包括：

獲取模塊，用于獲取視頻樣本，從視頻樣本中確定出至少兩幀樣本圖像，每一幀樣本圖像標注有參考評分，參考評分是指樣本圖像作為視頻摘要的參考評分；

訓練模塊，用于調用視頻摘要生成模型分別對每一幀樣本圖像進行時間特征與空間特征的混合自注意力學習，得到樣本圖像在時間與空間上的混合特征向量；

訓練模塊，用于調用視頻摘要生成模型基于混合特征向量對樣本圖像進行評分，得到每一幀樣本圖像作為視頻摘要的重要性評分；

訓練模塊，用于基于參考評分與重要性評分之間的學習損失更新視頻摘要生成模型中的模型參數，最終得到訓練完成的視頻摘要生成模型。

根據本申請的另一個方面，提供了一種視頻摘要生成裝置，該裝置包括：