[發明專利]一種基于多模態生成的直播彈幕正向話題引導方法

在審

• 申請號: 202111326042.0
• 申請日: 2021-11-10
• 公開（公告）號: CN114125544A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 林菲;黃慶;胡陳慧
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N21/435
• 分類號: H04N21/435;H04N21/4788;H04N21/488;G06F40/211;G06F40/30;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于多模態生成的直播彈幕正向話題引導方法，其特征在于，包括如下步驟：

步驟1，數據采集：實時采集單個直播間用戶彈幕，對直播間視頻采用1秒5幀的方式作視頻采集存儲分析；

步驟2，惡意彈幕識別與封禁：對實時采集的用戶彈幕，以單個用戶為最小單位，通過對用戶彈幕上下文采用基于BERT-DPCNN模型做彈幕分類，識別惡意彈幕，并對惡意彈幕用戶做封禁；

步驟3，多模態特征提取：以5s為最小時間粒度，每個時間段5s針對前3個時間段15s內的用戶彈幕和直播視頻采用Multi-interactive Attention機制的多模態融合做特征提取；

步驟4，直播彈幕正向話題引導生成：先采用多模態生成與事實檢索融合的方式，生成話題引導，而后將多模態融合與非結構化文本放入檢索模型中，檢索生成top10話題引導文本，最后基于多模態生成和多模態檢索融合的方式確定最終話題引導文本。

2.根據權利要求1所述的基于多模態生成的直播彈幕正向話題引導方法，其特征在于，所述步驟2的具體實現步驟如下：

首先在詞向量方面，利用BERT模型來優化DPCNN模型的詞向量，學習到更豐富層次的語義，優化文本的特征表示，所述BERT模型使用Transformer做編碼器實現上下文相關，并且提升至句子級別的負采樣及表示；

然后將文本詞向量輸入到DPCNN模型進行訓練；

最后使用訓練好的BERT-DPCNN模型對實時彈幕進行惡意彈幕識別，并對5分鐘內超過3次發惡意彈幕的用戶進行封禁。

3.根據權利要求2所述的基于多模態生成的直播彈幕正向話題引導方法，其特征在于，所述步驟3包括如下具體步驟：

首先采用BiLSTM算法將彈幕信息的詞向量矩陣編碼為語義特征表示矩陣，將通過主播直播視頻幀作CNN特征提取后用BiLSTM算法編碼為視頻內容特征矩陣，分別放入文本內存網絡和視覺內存網絡中；

然后將文本與視頻內容融合后，雙線性均值池化，均值池化后的結果放入文本內存網絡和視覺內存網絡中；

最后將兩個內存網絡模型輸出結果通過GRU+Attention多跳融合優化特征表達，得到多模態融合特征。

4.根據權利要求3所述的基于多模態生成的直播彈幕正向話題引導方法，其特征在于，所述步驟4的具體實現步驟如下：

第一步，生成式模型輸出結果：首先將步驟3多模態融合結果放入transformerencoder中，同時將檢索出的與多模態相關的事實編碼結果與多模態編碼結果進行融合，然后采用transformer decoder進行解碼生成得到生成模型中話題引導回復R1；

第二步，檢索式模型輸出結果：將生成的多模態特征與外部語料庫放入檢索模型中檢索出的候選話題引導，取前10條，記做R2(r1,…r10)。

第三步，采用重排方式，對R1、R2以及多模態上下文使用卷積神經網絡、最大池化以及多層感知機得到每一個話題引導與多模態上下文的匹配得分，取匹配度高的句子作為最終話題引導句子。