[發明專利]視頻摘要生成模型的訓練方法、視頻摘要生成方法及裝置

在審

• 申請號: 202011057685.5
• 申請日: 2020-09-29
• 公開（公告）號: CN112231516A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 柴振華;王君巖;白楊;胡炳彰;龍洋
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/74;G06T7/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 唐述燦

1.一種視頻摘要生成模型的訓練方法，其特征在于，所述方法包括：

獲取視頻樣本，從所述視頻樣本中確定出至少兩幀樣本圖像，每一幀所述樣本圖像標注有參考評分，所述參考評分是指所述樣本圖像作為視頻摘要的參考評分；

調用所述視頻摘要生成模型分別對每一幀所述樣本圖像進行時間特征與空間特征的混合自注意力學習，得到所述樣本圖像在時間與空間上的混合特征向量；

調用所述視頻摘要生成模型基于所述混合特征向量對所述樣本圖像進行評分，得到每一幀所述樣本圖像作為所述視頻摘要的重要性評分；

基于所述參考評分與所述重要性評分之間的學習損失更新所述視頻摘要生成模型中的模型參數，最終得到訓練完成的視頻摘要生成模型。

2.根據權利要求1所述的方法，其特征在于，所述調用所述視頻摘要生成模型分別對每一幀所述樣本圖像進行時間特征與空間特征的混合自注意力學習，得到所述樣本圖像在時間與空間上的混合特征向量，包括：

調用所述視頻摘要生成模型從每一幀所述樣本圖像中提取出時間特征圖與空間特征圖；

調用所述視頻摘要生成模型分別對所述時間特征圖與所述空間特征圖進行混合自注意力學習，得到時間特征向量與空間特征向量；

調用所述視頻摘要生成模型基于所述時間特征向量與所述空間特征向量生成所述混合特征向量。

3.根據權利要求2所述的方法，其特征在于，所述視頻摘要生成模型包括時間通道與空間通道；

所述調用所述視頻摘要生成模型從每一幀所述樣本圖像中提取出時間特征圖與空間特征圖，包括：

將每一幀所述樣本圖像輸入所述時間通道，得到所述樣本圖像的所述時間特征圖；

將每一幀所述樣本圖像輸入所述空間通道，得到所述樣本圖像的所述空間特征圖。

4.根據權利要求2或3所述的方法，其特征在于，所述視頻摘要生成模型包括混合自注意力層；

所述調用所述視頻摘要生成模型分別對所述時間特征圖與所述空間特征圖進行混合自注意力學習，得到時間特征向量與空間特征向量，包括：

通過所述混合自注意力層學習所述時間特征圖的混合注意力分布，得到所述時間特征向量；

通過所述混合自注意力層學習所述空間特征圖的混合注意力分布，得到所述空間特征向量。

5.根據權利要求4所述的方法，其特征在于，所述通過所述混合自注意力層學習所述時間特征圖的混合注意力分布，得到所述時間特征向量，包括：

調用所述混合自注意力層從所述時間特征圖中學習出所述時間特征圖對應的查詢矩陣、鍵矩陣、值矩陣、以及輔助查詢矩陣；

調用所述混合自注意力層將所述查詢矩陣、所述輔助查詢矩陣分別與所述鍵矩陣相乘，得到所述時間特征圖對應的注意力矩陣與輔助注意力矩陣；

調用所述混合自注意力層基于所述注意力矩陣、所述輔助注意力矩陣、以及所述值矩陣生成所述時間特征向量。

6.根據權利要求4所述的方法，其特征在于，所述通過所述混合自注意力層學習所述空間特征圖的混合注意力分布，得到所述空間特征向量，包括：

調用所述混合自注意力層從所述空間特征圖中學習出所述空間特征圖對應的查詢矩陣、鍵矩陣、值矩陣、以及輔助查詢矩陣；

調用所述混合自注意力層將所述查詢矩陣、所述輔助查詢矩陣分別與所述鍵矩陣相乘，得到所述空間特征圖對應的注意力矩陣與輔助注意力矩陣；

調用所述混合自注意力層基于所述注意力矩陣、所述輔助注意力矩陣、以及所述值矩陣生成所述空間特征向量。