[發明專利]一種自回歸彈幕生成方法和系統

在審

• 申請號: 202110677802.6
• 申請日: 2021-06-18
• 公開（公告）號: CN113505267A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 曾澤華;馬存慶;屠晨陽;彭佳;單亦偉
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06N3/08;H04N5/278;H04N21/4402;H04N21/488
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

1.一種自回歸彈幕生成方法，其步驟包括：

1)選取一訓練數據集對模型進行訓練，所述模型包括雙向編碼器、自回歸解碼器和分類器；該訓練數據集中的每條樣本包括視頻片段的圖像截圖，該視頻片段的參考彈幕，該參考彈幕周圍且發送時間在參考彈幕之前的一系列上下文彈幕，以及該視頻片段所屬視頻的視頻類別；其中對所述模型訓練方法為：

首先將每條樣本的上下文彈幕和視頻片段的圖像截圖輸入到雙向編碼器中進行編碼，并將得到的上下文彈幕文本的獨熱編碼表示和該圖像截圖的圖像向量將相鏈接，作為輸入向量序列，再將該輸入向量序列中每個向量在該輸入向量序列中的位置按順序列出，得到一位置向量序列；然后將該位置向量序列與該輸入向量序列相加后進行編碼，得到一輸出向量并輸入到分類器中；然后分類器將當前樣本的所述輸出向量和給定彈幕作為輸入，預測給定彈幕和所述輸出向量屬于同一視頻的概率并計算模型預測的交叉熵損失，然后根據此損失對所述模型進行反向傳播更新分類器和雙向編碼器的參數；其中所述給定彈幕為當前樣本的參考彈幕或者其他樣本的參考彈幕；

將當前樣本的所述輸出向量輸入到自回歸解碼器中，自回歸解碼器根據所述輸出向量得到當前樣本的視頻類別的預測概率；再將當前樣本的參考彈幕的每個詞依次加入到輸入彈幕序列，輸出對于當前輸入詞的下一個詞的預測概率；然后計算預測概率結果與真實的視頻類別之間的損失以及預測每個詞的概率與參考彈幕詞之間的損失，從而得到自回歸解碼器的損失，并根據損失函數進行分享傳播更新自回歸解碼器和雙向編碼器參數；

2)對于當前播放的目標視頻，當用戶從該目標視頻中選取一目標位置并輸入彈幕文本時，將當前輸入的彈幕文本作為參考彈幕，利用訓練后的自回歸解碼器模塊從該參考彈幕的首個詞開始，依次將每個詞作為生成目標彈幕的提示詞，最終生成該目標位置的彈幕文本。

2.如權利要求1所述的方法，其特征在于，將該雙向編碼器最后一個隱狀態作為所述輸出向量。

3.如權利要求2所述的方法，其特征在于，所述分類器為基于Transformer的分類器；所述自回歸解碼器為基于Transformer的自回歸解碼器。

4.如權利要求1或2或3所述的方法，其特征在于，使用resnet網絡將視頻圖像表示為視頻圖像向量。

5.一種自回歸彈幕生成系統，其特征在于，包括雙向編碼器模塊、自回歸解碼器模塊和分類器模塊；其中，

所述雙向編碼器模塊，用于將視頻片段的上下文彈幕和視頻片段的圖像截圖進行編碼，并將得到的上下文彈幕文本的獨熱編碼表示和該圖像截圖的圖像向量將相鏈接，作為輸入向量序列，再將該輸入向量序列中每個向量在該輸入向量序列中的位置按順序列出，得到一位置向量序列；然后將該位置向量序列與該輸入向量序列相加后進行編碼，得到一輸出向量；

所述自回歸解碼器模塊，用于根據所述輸出向量得到當前視頻的視頻類別；以及根據參考彈幕和視頻圖像對目標彈幕的詞進行預測，生成目標彈幕；

所述分類器模塊，用于利用雙向編碼器模塊的輸出向量和給定彈幕進行二分類，判斷給定彈幕是否和雙向編碼器模塊的輸入屬于同一視頻。

6.如權利要求5所述的系統，其特征在于，所述分類器為基于Transformer的分類器；所述自回歸解碼器為基于Transformer的自回歸解碼器。

7.如權利要求5所述的系統，其特征在于，將該雙向編碼器最后一個隱狀態作為所述輸出向量。