[發(fā)明專利]基于多層次交互式證據(jù)生成的虛假新聞識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011587811.8
• 申請(qǐng)日: 2020-12-28
• 公開（公告）號(hào): CN112650851B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 饒?jiān)?/a>;吳連偉;孫菱;郝哲;賀王卜;蘭玉乾
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/205;G06F40/279;G06N3/0455;G06N3/048;G06N3/08;G06N5/04;G06Q50/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 朱海臨

1.基于多層次交互式證據(jù)生成的虛假新聞識(shí)別方法，其特征在于，包括以下步驟：

步驟1，將新聞序列C與相關(guān)文章序列R作為輸入特征；

步驟2：針對(duì)任一新聞序列C與相關(guān)文章序列R，采用自注意力網(wǎng)絡(luò)作為沖突生成器和虛假部分生成器的編碼器來(lái)學(xué)習(xí)任意兩個(gè)單詞間的依賴關(guān)系以及序列內(nèi)部的結(jié)構(gòu)特征；

步驟3：依靠不同的線性投影將新聞序列C或相關(guān)文章序列R的查詢、鍵和值線性投影h次，然后并行執(zhí)行縮放的點(diǎn)乘注意力；將注意力的結(jié)果串聯(lián)起來(lái)，再進(jìn)行投影以得到新的表示，具體如下：

head_i＝Attention(QWi_i^Q,KW_i^K,VW_i^W)?????????(1)

H＝MultiHead(Q,K,V)＝Concat(head₁,head₂,…,head_h)W^o???????(2)

其中，W_i^Q、W_i^K、W_i^W和W^o為可訓(xùn)練參數(shù)；H^C和H^R是虛假部分生成器模塊的兩個(gè)輸出；為沖突生成器針對(duì)第一個(gè)、第i個(gè)以及最后一個(gè)相關(guān)文章的輸出；

步驟4，由自注意網(wǎng)絡(luò)構(gòu)成的交叉注意網(wǎng)絡(luò)使沖突生成器與虛假部分生成器的編碼器的輸出作為解碼器的輸入相互交互，具體如下：

H_claim＝attention(Q,K,V)＝attention(H^R,H^C,H^C)??????(4)

H_allRA＝attention(Q,K,V)＝attention(H^c,H^R,H^R)?????(5)

其中，H_claim和H_allRA分別表示針對(duì)新聞和針對(duì)相關(guān)文章的交叉注意力層的輸出；

步驟5：利用線性插值作為融合函數(shù)得到：

其中，λ為超參數(shù)，用于控制應(yīng)該考慮多少其他任務(wù)的信息量被吸收，0＜λ＜1；

步驟6，將前饋網(wǎng)絡(luò)應(yīng)用到融合的結(jié)果中，前饋網(wǎng)絡(luò)加入非線性特征和尺度不變特征，其中包含一個(gè)帶有ReLU的隱含層；

其中，W₁、W₂、b₁和b₂為可訓(xùn)練參數(shù)，O^F為解碼器的長(zhǎng)下文注意力表示；

步驟7，利用softmax層獲取生成過(guò)程的單詞概率；相應(yīng)產(chǎn)生的錯(cuò)誤部分序列的對(duì)數(shù)似然估計(jì)表示為：

步驟8，虛假部分生成器模塊基于前饋網(wǎng)絡(luò)產(chǎn)生的上下文注意力表示O^F的預(yù)測(cè)單詞y_t，表示為：

P(y_t|C,y₁,y₂,…,y_t-1；θ)＝P(y_t-1|O^F；θ)＝softmax(W_sO^F)??????(9)

其中，W_s為可訓(xùn)練參數(shù)；

步驟9，在交叉注意力層，表示相關(guān)文章與第i個(gè)文章的交互；

在融合層中，融合所有相關(guān)文章的交互，即：

其中，λ₁+λ₂+…+λ_n＝1；

在反饋網(wǎng)絡(luò)層，沖突生成模塊的輸出是沖突序列O^C，虛假部分生成器模塊生成的序列是Y^C；

步驟10，利用局部推理單元捕獲所生成序列Y^F和Y^C之間的相關(guān)性，并將其合并到基于Y^C的Y^F的新表示中；

首先計(jì)算一個(gè)共同注意力矩陣來(lái)捕獲兩個(gè)序列之間的相關(guān)性，共同注意力矩陣中的每個(gè)元素E_i,j表示Y^F序列第i個(gè)詞和Y^C序列的第j個(gè)詞之間的相關(guān)性；共同注意力矩陣為：

其中，W和P表示可訓(xùn)練參數(shù)，⊙表示元素點(diǎn)乘操作；

對(duì)于Y^F的Y^C指導(dǎo)的注意力向量：

采用絕對(duì)差異與元素點(diǎn)乘來(lái)融合原始向量Y_i^F以及

得到包含Y^F的以Y^C為導(dǎo)向的推理信息的新表示：

其中，LayerNorm(·)是層正則化，結(jié)果是一個(gè)2維的與Y^F相似形狀的張量；

步驟11，通過(guò)生成過(guò)程得到生成的推理序列Y^E，由于所生成的推理序列能夠推理出新聞的虛假部分和相應(yīng)的證據(jù)，以此推理序列來(lái)解釋假新聞的出錯(cuò)原因；

步驟12，將這三個(gè)序列按不同比例整合吸收上下文表示，得到正特特征F：

F＝e(Y^E)+γ₁e(Y^F)+γ₂e(Y^C)????????????(17)

其中，e(·)是詞序列的表示，γ₁和γ₂是超參數(shù)；

步驟13，基于整合特征F，使用一個(gè)多層感知器MLP分類器預(yù)測(cè)分布的標(biāo)簽，并采取softmax函數(shù)的概率分布預(yù)測(cè)任務(wù)學(xué)習(xí)，利用一個(gè)真實(shí)的訓(xùn)練樣本標(biāo)簽y使得全局損失函數(shù)模型誤差最小化：

v＝ReLU(W_fF+b_f)????????????(18)

p＝softmax(W_pF+b_p)????????????(19)

loss＝-∑ylogp????????????(20)

其中，W_p、W_f、b_f和b_p均為可訓(xùn)練參數(shù)。