[發(fā)明專(zhuān)利]融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111188521.0
• 申請(qǐng)日: 2021-10-12
• 公開(kāi)（公告）號(hào): CN113822224A
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 李東升;蹇松雷;彭麗雯;喬林波;黃震;黃辰林;闞志剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 湖南兆弘專(zhuān)利事務(wù)所(普通合伙) 43008
• 代理人: 胡君;鄒大堅(jiān)

1.一種融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，步驟包括：

S01.獲取待檢測(cè)數(shù)據(jù)集中新聞信息的文本模態(tài)數(shù)據(jù)和圖像模態(tài)數(shù)據(jù)；

S02.分別提取所述文本模態(tài)數(shù)據(jù)和圖像模態(tài)數(shù)據(jù)的單模態(tài)特征表示，并映射到同一個(gè)多模態(tài)特征空間，得到文本模態(tài)和圖像模態(tài)的多模態(tài)特征表示；

S03.從所述多模態(tài)特征表示中，提取文本模態(tài)和圖像模態(tài)的單模態(tài)數(shù)據(jù)結(jié)構(gòu)特征，以及捕獲文本模態(tài)和圖像模態(tài)之間的跨模態(tài)特征關(guān)系；

S04.根據(jù)所述單模態(tài)數(shù)據(jù)結(jié)構(gòu)特征以及跨模態(tài)特征關(guān)系，得到待檢測(cè)數(shù)據(jù)集中所有新聞信息的融合多模態(tài)特征表示；

S05.將所述融合多模態(tài)特征表示輸入到預(yù)先構(gòu)建的謠言檢測(cè)網(wǎng)絡(luò)中，檢測(cè)出新聞信息是否為謠言。

2.根據(jù)權(quán)利要求1所述的融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述步驟S03中，使用基于度量的三元組學(xué)習(xí)方式，提取得到所述文本模態(tài)和圖像模態(tài)的單模態(tài)數(shù)據(jù)結(jié)構(gòu)特征，所述基于度量的三元組學(xué)習(xí)方式中通過(guò)學(xué)習(xí)所述文本模態(tài)、圖像模態(tài)中一種模態(tài)內(nèi)三元組樣本之間的距離關(guān)系，并使用學(xué)習(xí)到的距離關(guān)系指導(dǎo)學(xué)習(xí)另一個(gè)模態(tài)內(nèi)對(duì)應(yīng)的三元組樣本之間的特征關(guān)系。

3.根據(jù)權(quán)利要求2所述的融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述使用基于度量的三元組學(xué)習(xí)方式，提取得到所述文本模態(tài)和圖像模態(tài)的單模態(tài)數(shù)據(jù)結(jié)構(gòu)特征的步驟包括：

S301.從所述多模態(tài)特征表示中分別選取多組對(duì)應(yīng)文本模態(tài)的三元組樣本、多組對(duì)應(yīng)圖像模態(tài)的三元組樣本，所述三元組樣本中包括目標(biāo)樣本、正樣本和負(fù)樣本；

S302.取所述圖像模態(tài)、文本模態(tài)中一種作為指導(dǎo)模態(tài)、另一種作為被指導(dǎo)模態(tài)；

S303.計(jì)算當(dāng)前的指導(dǎo)模態(tài)所對(duì)應(yīng)的各三元組樣本中所述目標(biāo)樣本與所述正負(fù)樣本之間的距離關(guān)系；

S304.使用一個(gè)預(yù)設(shè)距離函數(shù)作用于當(dāng)前的被指導(dǎo)模態(tài)所對(duì)應(yīng)的各三元組樣本中目標(biāo)樣本和正負(fù)樣本上，并使用步驟S303得到的所述距離關(guān)系指導(dǎo)學(xué)習(xí)當(dāng)前的被指導(dǎo)模態(tài)中所述目標(biāo)樣本和所述正負(fù)樣本之間的特征關(guān)系；

S305.更換所述圖像模態(tài)、文本模態(tài)所對(duì)應(yīng)的指導(dǎo)模態(tài)、被指導(dǎo)模態(tài)的類(lèi)型，返回步驟S303，以重新使用更換后的指導(dǎo)模態(tài)的所述距離關(guān)系，指導(dǎo)學(xué)習(xí)被指導(dǎo)模態(tài)中的所述目標(biāo)樣本和所述正負(fù)樣本之間的特征關(guān)系。

4.根據(jù)權(quán)利要求3所述的融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述步驟S304中，使用步驟S303得到的所述距離關(guān)系指導(dǎo)學(xué)習(xí)當(dāng)前的被指導(dǎo)模態(tài)中所述目標(biāo)樣本和所述正負(fù)樣本之間的關(guān)系包括：如果當(dāng)前的指導(dǎo)模態(tài)中目標(biāo)樣本和正樣本之間的歐式距離大于目標(biāo)樣本和負(fù)樣本之間的歐式距離，則指導(dǎo)被指導(dǎo)模態(tài)中目標(biāo)樣本和正負(fù)樣本之間的關(guān)系滿(mǎn)足將大于預(yù)設(shè)閾值；如果當(dāng)前的指導(dǎo)模態(tài)中目標(biāo)樣本和正樣本之間的歐式距離小于目標(biāo)樣本和負(fù)樣本之間的歐式距離，則指導(dǎo)被指導(dǎo)模態(tài)中目標(biāo)樣本和正負(fù)樣本之間的關(guān)系滿(mǎn)足將小于預(yù)設(shè)閾值，其中為被指導(dǎo)模態(tài)中的目標(biāo)樣本與正樣本之間的關(guān)系，為被指導(dǎo)模態(tài)中的目標(biāo)樣本與負(fù)樣本之間的關(guān)系，表示與之間的差值函數(shù)。

5.根據(jù)權(quán)利要求1所述的融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述步驟S03中，使用基于對(duì)照的二元組學(xué)習(xí)方式捕獲所述跨模態(tài)特征關(guān)系，其中通過(guò)基于所述圖像模態(tài)、文本模態(tài)的樣本形成包含正負(fù)樣本對(duì)的二元組，使用所述正負(fù)樣本對(duì)的對(duì)照關(guān)系指導(dǎo)二元組中樣本之間相似性關(guān)系的學(xué)習(xí)。

6.根據(jù)權(quán)利要求5所述的融合多模態(tài)學(xué)習(xí)與多粒度結(jié)構(gòu)學(xué)習(xí)的謠言檢測(cè)方法，其特征在于，所述使用基于對(duì)照的二元組學(xué)習(xí)方式捕獲所述跨模態(tài)特征關(guān)系的步驟包括：

S311.從所述多模態(tài)特征表示中選取兩個(gè)新聞樣本，將其中一個(gè)新聞樣本所對(duì)應(yīng)的目標(biāo)樣本、正樣本形成正樣本對(duì)、將所述目標(biāo)樣本與另一個(gè)新聞樣本所對(duì)應(yīng)的負(fù)樣本形成負(fù)樣本對(duì)，所述目標(biāo)樣本、正樣本對(duì)應(yīng)不同的模態(tài)，由所述正樣本對(duì)、負(fù)樣本構(gòu)成一個(gè)二元組；

S312.根據(jù)所述二元組中正負(fù)樣本對(duì)的對(duì)照關(guān)系，指導(dǎo)使用一個(gè)預(yù)設(shè)相似性度量函數(shù)分別計(jì)算所述二元組中目標(biāo)樣本和正樣本以及目標(biāo)樣本和負(fù)樣本之間的相似性。