[發(fā)明專利]自監(jiān)督學(xué)習(xí)的謠言檢測(cè)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110744485.5
• 申請(qǐng)日: 2021-07-01
• 公開(kāi)（公告）號(hào): CN113434684B
• 公開(kāi)（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 何向南;高遠(yuǎn);王翔;封化民;張勇東
• 申請(qǐng)（專利權(quán)）人: 北京中科研究院
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/31;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種自監(jiān)督學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，包括：

將消息的傳播過(guò)程建模為傳播樹(shù)，采用圖編碼器編碼傳播樹(shù)的圖結(jié)構(gòu)信息，獲得傳播表征；采用文本編碼器編碼消息的文本內(nèi)容信息，獲得文本表征；將傳播表征與文本表征拼接結(jié)果、傳播表征、或者文本表征輸入至分類模型進(jìn)行謠言檢測(cè)；同時(shí)，對(duì)于傳播表征與文本表征，基于自監(jiān)督學(xué)習(xí)的方式，提升相同消息的傳播表征與文本表征之間的一致性，以及不同消息的傳播表征與文本表征之間的差異；綜合分類模型的損失函數(shù)與基于自監(jiān)督學(xué)習(xí)目標(biāo)函數(shù)訓(xùn)練所述分類模型、圖編碼器與文本編碼器；

通過(guò)訓(xùn)練后的圖編碼器得到待檢測(cè)消息的傳播表征、或者通過(guò)訓(xùn)練后的文本編碼器得到待檢測(cè)消息的文本表征、或者通過(guò)訓(xùn)練后的圖編碼器與文本編碼器得到待檢測(cè)消息的傳播表征與文本表征后進(jìn)行拼接，再輸入至訓(xùn)練得到的分類模型進(jìn)行謠言檢測(cè)；

所述將消息的傳播過(guò)程建模為傳播樹(shù)包括：

將傳播樹(shù)表示V,ε，其中，表示節(jié)點(diǎn)集合，ε表示邊集合；將原消息作為根節(jié)點(diǎn)，記為M₀，其余節(jié)點(diǎn)為原消息的相關(guān)回復(fù)；若第j個(gè)節(jié)點(diǎn)M_j為第i個(gè)節(jié)點(diǎn)M_i的回復(fù)，則節(jié)點(diǎn)M_i和M_j之間存在一條邊；

所述圖編碼器包括：圖卷積神經(jīng)網(wǎng)絡(luò)；

使用L層的圖卷積神經(jīng)網(wǎng)絡(luò)編碼傳播樹(shù)的圖結(jié)構(gòu)信息，第l層的圖卷積神經(jīng)網(wǎng)絡(luò)的函數(shù)表示為：

其中，l＝1,…,L，σ(·)是sigmoid激活函數(shù)，D是傳播樹(shù)的度矩陣，為傳播樹(shù)的鄰接矩陣A中添加自連接后的矩陣；W^l為第l層的圖卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，H^(l)為第l層的圖卷積神經(jīng)網(wǎng)絡(luò)輸出隱層表示；H⁰是節(jié)點(diǎn)的特征矩陣，每一行為一個(gè)節(jié)點(diǎn)對(duì)應(yīng)文本的獨(dú)熱編碼向量；第L層的圖卷積神經(jīng)網(wǎng)絡(luò)輸出隱層表示H^(L)即為傳播表征；

文本編碼器包括：卷積神經(jīng)網(wǎng)絡(luò)與多頭注意力機(jī)制框架；

將消息的文本內(nèi)容信息通過(guò)多頭注意力機(jī)制框架提取全局的文本信息，再輸入至卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼；

通過(guò)多頭注意力機(jī)制框架每個(gè)詞都能夠得到其他所有詞的信息；

所述卷積神經(jīng)網(wǎng)絡(luò)通過(guò)不同濾波器設(shè)置不同大小的窗口，能夠在不同的n元語(yǔ)法中提取多層次的信息，其中，一個(gè)h元語(yǔ)法對(duì)應(yīng)的濾波器表示為：

v_k＝σ(w·z_k:k+h-1+b)

其中，n與h均為整數(shù)，h≤n，σ(·)是sigmoid激活函數(shù)，z為文本內(nèi)容信息中詞匯對(duì)應(yīng)的特征預(yù)訓(xùn)練向量構(gòu)成的矩陣，矩陣的每一行為一個(gè)詞匯的特征預(yù)訓(xùn)練向量，矩陣行數(shù)為文本內(nèi)容信息的詞匯數(shù)N，角標(biāo)k:k+h-1表示濾波器的感受野，k＝0,…,N-h-1，w、b各自為權(quán)重、偏置參數(shù)。

2.根據(jù)權(quán)利要求1所述的一種自監(jiān)督學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述基于自監(jiān)督學(xué)習(xí)的方式包括：基于實(shí)例判別的自監(jiān)督學(xué)習(xí)的方式；

將相同消息傳播表征g_i與文本表征t_i作為正例對(duì)，不同消息傳播表征g_i與文本表征t_j作為負(fù)例對(duì)，基于實(shí)例判別的自監(jiān)督學(xué)習(xí)的方式訓(xùn)練圖編碼器與文本編碼器，目標(biāo)函數(shù)表示為：

其中，s(·)是相似度函數(shù)，C是消息集合，τ是超參數(shù)。