[發(fā)明專利]一種用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關(guān)聯(lián)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011299703.0
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112417097B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 金昊;楊悅;宋丹;劉安安;李陽(yáng)陽(yáng);王亞珅
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院;天津大學(xué)
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/55;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 張建中

1.一種用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關(guān)聯(lián)方法，其特征在于：該方法包括：

構(gòu)建用于提取文本特征的第一神經(jīng)網(wǎng)絡(luò)及用于提取圖像特征的第二神經(jīng)網(wǎng)絡(luò)；

由第一神經(jīng)網(wǎng)絡(luò)提取文本輿情信息的文本特征，由第二神經(jīng)網(wǎng)絡(luò)提取圖像輿情信息的圖像特征；

構(gòu)造包含節(jié)點(diǎn)及邊緣的圖結(jié)構(gòu)A及圖結(jié)構(gòu)B；圖結(jié)構(gòu)A用于編碼文本特征，其上的節(jié)點(diǎn)與文本特征相對(duì)應(yīng)；圖結(jié)構(gòu)B用于編碼圖像特征，其上的節(jié)點(diǎn)與圖像特征相對(duì)應(yīng)；

將圖像輿情信息與文本輿情信息一一匹配，構(gòu)成若干個(gè)圖文對(duì)，通過語(yǔ)義損失函數(shù)和三元組損失函數(shù)共同約束訓(xùn)練；對(duì)包含相同圖像輿情信息或相同文本輿情信息的多個(gè)圖文對(duì)的匹配關(guān)聯(lián)度進(jìn)行評(píng)估排序；

將圖結(jié)構(gòu)A構(gòu)造為全連接文本圖，用G^t表示全連接文本圖，G^t＝{N^t,E^t}，N^t是節(jié)點(diǎn)集合，E^t是節(jié)點(diǎn)之間邊的集合，G^t用于代表一個(gè)句子中的相關(guān)信息；

對(duì)文本信息進(jìn)行編碼，最終節(jié)點(diǎn)向量為雙向LSTM中每個(gè)時(shí)間步長(zhǎng)的隱藏狀態(tài)向量的平均值；

假設(shè)句子i中存在q個(gè)單詞，使用如下函數(shù)得到節(jié)點(diǎn)集合

利用余弦距離表示邊的集合，來模擬文本節(jié)點(diǎn)之間的關(guān)系：

得到一個(gè)文本關(guān)聯(lián)矩陣A^t∈R^q×q，其中

式中：

表示句子i中第m個(gè)單詞；

表示句子i中第m個(gè)單詞的特征，以此來表示第m個(gè)節(jié)點(diǎn)；

表示句子i中第n個(gè)單詞；

表示句子i中第n個(gè)單詞的特征，以此來表示第n個(gè)節(jié)點(diǎn)；

表示雙向LSTM中第m個(gè)單詞的正向隱藏狀態(tài)；

表示雙向LSTM中第m個(gè)單詞的反向隱藏狀態(tài)；

表示文本i中，文本圖節(jié)點(diǎn)m和n之間的邊；

表示文本關(guān)聯(lián)矩陣中第m行第n列元素。

2.根據(jù)權(quán)利要求1所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關(guān)聯(lián)方法，其特征在于，該方法還包括：檢索輿情信息時(shí)，以圖搜文模式下，將檢索輸入的圖像輿情信息與檢索輸出的所有文本輿情信息一一匹配成圖文對(duì)；以文搜圖模式下，將檢索輸入的文本輿情信息與檢索輸出的所有圖像輿情信息一一匹配成圖文對(duì)；對(duì)圖文對(duì)的匹配關(guān)聯(lián)度進(jìn)行評(píng)估排序；假設(shè)以圖搜文模式下，輸入圖像A時(shí)，文本B在其前k個(gè)檢索中，設(shè)文本B排名序號(hào)為r，r≤k；在以文搜圖模式下，輸入文本B時(shí)，圖像A也在其前k個(gè)檢索結(jié)果中，設(shè)圖像A排名序號(hào)為s，s≤k；則r和s更新為兩者中的較小值。

3.根據(jù)權(quán)利要求2所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關(guān)聯(lián)方法，其特征在于，采用求解top-k問題的方法對(duì)圖文對(duì)的匹配關(guān)聯(lián)度進(jìn)行評(píng)估排序。

4.根據(jù)權(quán)利要求1所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關(guān)聯(lián)方法，其特征在于，第一神經(jīng)網(wǎng)絡(luò)為雙向LSTM神經(jīng)網(wǎng)絡(luò)。