[發(fā)明專利]生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110607067.1
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113221872B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 羅森林;侯鈺斌;潘麗敏;秦梟喃;吳舟婷
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V30/40
• 分類號(hào): G06V30/40;G06V10/80;G06V10/82;G06V10/46;G06N3/04;G06N3/08;G06F40/284
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法，其特征在于所述方法包括如下步驟：

步驟1，需要對(duì)新聞數(shù)據(jù)進(jìn)行特征提取，首先，對(duì)新聞文本進(jìn)行分詞操作，使用TextCNN模型對(duì)新聞文本進(jìn)行特征提取，然后，使用預(yù)訓(xùn)練的VGG19模型對(duì)完成預(yù)處理的新聞圖片進(jìn)行特征提取；

步驟2，使用外部數(shù)據(jù)集訓(xùn)練條件生成對(duì)抗網(wǎng)絡(luò)，首先，使用預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)提取圖片的特征向量，將圖片的特征向量與噪聲一同輸入生成網(wǎng)絡(luò)，得到描述圖片的生成詞向量，然后，對(duì)原本描述圖片的詞語進(jìn)行詞嵌入獲得真實(shí)詞向量，將圖片特征向量、生成詞向量和真實(shí)詞向量輸入判別網(wǎng)絡(luò)，如果判別網(wǎng)絡(luò)認(rèn)為生成網(wǎng)絡(luò)輸出的詞向量不是生成的，且該詞向量與真實(shí)詞向量相符合，則優(yōu)化判別網(wǎng)絡(luò)的參數(shù)，否則優(yōu)化生成網(wǎng)絡(luò)的參數(shù)，最后，在兩個(gè)網(wǎng)絡(luò)相互對(duì)抗過程中訓(xùn)練得到表現(xiàn)良好的生成網(wǎng)絡(luò)；

步驟3，特征融合和假新聞檢測(cè)器的訓(xùn)練，首先，將新聞文本特征、描述新聞圖片的詞語特征和新聞圖片的特征進(jìn)行張量融合得到新聞?wù)w的特征，然后，將融合的特征向量輸入激活函數(shù)是softmax的全連接層，訓(xùn)練該全連接層得到合適假新聞檢測(cè)模型；

步驟4，使用測(cè)試數(shù)據(jù)檢測(cè)該模型對(duì)假新聞的檢測(cè)效果。

2.根據(jù)權(quán)利要求1所述的生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法，其特征在于：步驟2中根據(jù)噪聲和條件生成的詞向量x′₁，再根據(jù)詞嵌入模型選取4個(gè)相似度最高的詞向量組成{x′₁，x′₂，x′₃，x′₄，x′₅}，將5個(gè)詞向量相加獲得生成詞向量該過程的公式為將數(shù)據(jù)集中描述圖片的詞向量相加獲得真實(shí)詞向量該過程的公式為其中x_i表示數(shù)據(jù)集X_i中描述圖片的詞向量。

3.根據(jù)權(quán)利要求1所述的生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法，其特征在于：步驟2中條件生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)需要不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，使判別網(wǎng)絡(luò)可以分辨真實(shí)詞向量和生成詞向量，并且可以判斷生成詞向量和真實(shí)詞向量的相似度，通過最大化目標(biāo)函數(shù)V_d優(yōu)化判別網(wǎng)絡(luò)參數(shù)，其公式為：

其中，表示在圖片約束條件c_i下真實(shí)詞向量的判別結(jié)果，需要最大化此項(xiàng)；表示在圖片約束條件c_i下生成詞向量的判別結(jié)果，需要最小化此項(xiàng)；表示真實(shí)詞向量和生成詞向量的相似度的判別結(jié)果，需要最大化此項(xiàng)；各分項(xiàng)的優(yōu)化目標(biāo)整合為判別網(wǎng)絡(luò)的優(yōu)化目標(biāo)，即最大化目標(biāo)函數(shù)V_d，μ_d表示 判別網(wǎng)絡(luò)更新參數(shù)步長(zhǎng)，是梯度算子。

4.根據(jù)權(quán)利要求1所述的生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法，其特征在于：步驟2中條件生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)需要不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，使判別網(wǎng)絡(luò)認(rèn)為該網(wǎng)絡(luò)的輸出是真實(shí)的詞語特征，而不是生成的詞語特征，通過最大化目標(biāo)函數(shù)V_g優(yōu)化生成網(wǎng)絡(luò)參數(shù)，其公式為：

其中，V_g是目標(biāo)函數(shù)，G(n_i|c_i)表示在圖片約束條件c_i下生成網(wǎng)絡(luò)G根據(jù)噪聲n_i生成的詞向量，D(G(n_i|c_i))表示在圖片約束條件c_i下對(duì)生成詞向量的判別結(jié)果，需要最大化此項(xiàng)，即最大化目標(biāo)函數(shù)V_g，μ_g表示生成網(wǎng)絡(luò)更新參數(shù)的步長(zhǎng)。

5.根據(jù)權(quán)利要求1所述的生成對(duì)抗網(wǎng)絡(luò)與多模態(tài)融合的假新聞檢測(cè)方法，其特征在于：步驟3中使用張量融合的方法，將新聞文本特征、描述新聞圖片的詞語特征和新聞圖片特征融合得到新聞?wù)w的特征，其公式為：

其中，表示張量的Kronecker積，表示新聞文本特征，表示描述新聞圖片的詞語特征，表示新聞圖片的特征，Kronecker積的運(yùn)算原理使得每種特征中的參數(shù)可以充分融合，有效地體現(xiàn)每種特征之間的共生聯(lián)系，這樣的融合方法能全面地表示新聞?wù)w的特征。