[發明專利]一種基于彈幕的視頻高光片段識別方法、終端及存儲介質

有效

• 申請號: 202010732044.9
• 申請日: 2020-07-27
• 公開（公告）號: CN111770357B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 盧亞輝;林浩星;王輝
• 申請（專利權）人: 深圳大學
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/4788;H04N21/488;G06F40/30
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

1.一種基于彈幕的視頻高光片段識別方法，其特征在于，所述方法包括：

獲取目標視頻，對所述目標視頻進行分割，得到至少一個視頻片段；

對于所述至少一個視頻片段中的目標片段中的每個彈幕，將彈幕文本輸入至預先訓練完成的第一神經網絡，獲取所述第一神經網絡輸出的所述彈幕對應的第一語義向量；

根據所述彈幕的第一語義向量獲取所述彈幕對應的目標語義向量；

根據所述目標片段中的各個彈幕分別對應的目標語義向量確定所述目標片段是否為高光片段；

所述根據所述彈幕的第一語義向量獲取所述彈幕對應的目標語義向量包括：

對所述彈幕進行分詞，將所述彈幕中的各個單詞輸入至預先訓練完成的第二神經網絡，獲取所述第二神經網絡輸出的所述各個單詞分別對應的詞向量，根據所述各個詞向量獲取所述彈幕對應的第二語義向量；

根據所述第一語義向量和所述第二語義向量獲取所述彈幕對應的目標語義向量；

所述根據所述第一語義向量和所述第二語義向量獲取所述彈幕對應的目標語義向量包括：

將所述第一語義向量和所述第二語義向量連接后輸入至預先訓練的第三神經網絡，獲取所述第三神經網絡輸出的所述目標語義向量；

在所述第三神經網絡中，對所述第一語義向量和所述第二語義向量進行處理的公式為：

z＝t⊙g(W_H[E_w；E_bs]+b_H)+(1-t)⊙[E_w；E_bs]

t＝σ(W_T[E_w；E_bs]+b_T)

其中，z為所述目標語義向量，E_w為所述第一語義向量，E_bs為所述第二語義向量，[E_w；E_bs]為所述第一語義向量和所述第二語義向量連接后的向量聯合表示，W_T為門機制矩陣，W_H為變換權重矩陣，b_H、b_T分別為所述第三神經網絡中的常數偏置項，g為非線性激活函數，σ為sigmoid激活函數。

2.根據權利要求1所述的基于彈幕的視頻高光片段識別方法，其特征在于，所述第一神經網絡的參數是根據多組訓練數據完成的，每組訓練數據中包括樣本視頻片段以及樣本視頻片段中的各個彈幕，所述第一神經網絡的訓練目標函數為：

其中，BS_i為訓練數據中樣本視頻片段中的第i個彈幕，x_i為所述第i個彈幕對應的第一語義向量，BS_i+j為BS_i的上下文彈幕，2*m為彈幕的上下文彈幕的數量，u_o為BS_i的上下文彈幕的第一語義向量，u_bs為樣本視頻片段中第bs個彈幕的第一語義向量，N為樣本視頻片段中彈幕的數量，V_j為目標片段，V為目標視頻，θ為所述第一神經網絡的參數，p(BS_i+j|BS_i；θ)為所述第一神經網絡的參數取θ時對應的p(BS_i+j|BS_i)。

3.根據權利要求1所述的基于彈幕的視頻高光片段識別方法，其特征在于，所述根據所述目標片段中的各個彈幕分別對應的目標語義向量確定所述目標片段是否為高光片段包括：

對所述目標片段中的各個彈幕分別對應的目標語義向量進行特征提取，獲取所述目標片段中的各個彈幕分別對應的特征向量；

根據所述目標片段中的各個彈幕分別對應的特征向量獲取所述目標片段對應的目標語義表示；

根據所述目標語義表示確定所述目標片段是否為高光片段。