[發明專利]視頻摘要的生成方法、設備和存儲介質

在審

• 申請號: 202110697549.0
• 申請日: 2021-06-23
• 公開（公告）號: CN113438509A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 洪國偉;林靜旭
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/8549;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種視頻摘要的生成方法，其特征在于，所述方法包括：

提取目標視頻中每一視頻幀的視覺特征；

將所述每一視頻幀的視覺特征輸入至自注意力網絡，以使所述自注意力網絡依據所述視頻幀之間的相對位置獲得所述每一視頻幀的自注意力特征；

基于所述每一視頻幀的自注意力特征，確定所述每一視頻幀的重要性預測值；

基于所述每一視頻幀的重要性預測值，生成所述目標視頻的視頻摘要。

2.根據權利要求1所述的方法，其特征在于，所述自注意力網絡包括前向的自注意力網絡和后向的自注意力網絡；

所述將所述每一視頻幀的視覺特征輸入至自注意力網絡，以使所述自注意力網絡依據所述視頻幀之間的相對位置獲得所述每一視頻幀的自注意力特征，包括：

將所述每一視頻幀的視覺特征輸入所述前向的自注意力網絡，獲得所述每一視頻幀的第一自注意力特征，并將所述每一視頻幀的視覺特征輸入所述后向的自注意力網絡，獲得所述每一視頻幀的第二自注意力特征；

將所述每一視頻幀的第一自注意力特征和所述每一視頻幀的第二自注意力特征對應疊加，獲得所述每一視頻幀的自注意力特征。

3.根據權利要求2所述的方法，其特征在于，所述前向的自注意力網絡利用公式得到所述每一視頻幀的第一自注意力特征；

所述后向的自注意力網絡利用公式得到所述每一視頻幀的第二自注意力特征；

其中，n為所述目標視頻中視頻幀的數目，i、j為1至n中的任一數值，x_i為第i視頻幀的視覺特征，x_j為第j視頻幀的視覺特征，c_i1為所述第i視頻幀的第一自注意力特征，a_ij1為所述前向的自注意力網絡中的權重系數，α_ij^V1為在所述前向的自注意力網絡中所述第i視頻幀與所述第j視頻幀之間的相對位置，W^V1為所述前向的自注意力網絡的線性變換參數；c_i2為所述第i視頻幀的第二自注意力特征，a_ij2為所述后向的自注意力網絡中的權重系數，α_ij^V2為在所述后向的自注意力網絡中所述第i視頻幀與所述第j視頻幀之間的相對位置，W^V2為所述后向的自注意力網絡的線性變換參數。

4.根據權利要求3所述的方法，其特征在于，a_ij1是基于前向掩碼計算獲得，a_ij2是基于后向掩碼計算獲得。

5.根據權利要求1所述的方法，其特征在于，所述基于所述每一視頻幀的重要性預測值，生成所述目標視頻的視頻摘要，包括：

將所述目標視頻劃分為多個鏡頭片段；

基于所述鏡頭片段中各個所述視頻幀的重要性預測值，確定所述鏡頭片段的重要度；

基于每個所述鏡頭片段的重要度，生成所述目標視頻的視頻摘要。

6.根據權利要求5所述的方法，其特征在于，所述基于每個所述鏡頭片段的重要度，生成所述目標視頻的視頻摘要，包括：

在所述多個鏡頭片段中選取至少一個目標鏡頭片段，所述至少一個目標鏡頭片段的長度總和為視頻摘要的預設目標長度且所述至少一個目標鏡頭片段的重要度之和為最大值；

按照所述至少一個目標鏡頭片段在所述目標視頻中的位置信息，將所述至少一個目標鏡頭片段拼接為所述目標視頻的視頻摘要。

7.根據權利要求5或6所述的方法，其特征在于，所述基于所述鏡頭片段中各個所述視頻幀的重要性預測值，確定所述鏡頭片段的重要度，包括：

計算所述鏡頭片段中各個所述視頻幀的重要性預測值的平均值；

將所述鏡頭片段對應的平均值，確定為所述鏡頭片段的重要度。

8.根據權利要求6所述的方法，其特征在于，所述預設目標長度為所述目標視頻的長度和預設比值的乘積，所述預設比值小于1。