[發(fā)明專利]一種用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關聯(lián)方法

有效

• 申請?zhí)枺?/td>: 202011299703.0
• 申請日: 2020-11-19
• 公開（公告）號: CN112417097B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設計）人: 金昊;楊悅;宋丹;劉安安;李陽陽;王亞珅
• 申請（專利權(quán)）人: 中國電子科技集團公司電子科學研究院;天津大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/55;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 張建中

1.一種用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關聯(lián)方法，其特征在于：該方法包括：

構(gòu)建用于提取文本特征的第一神經(jīng)網(wǎng)絡及用于提取圖像特征的第二神經(jīng)網(wǎng)絡；

由第一神經(jīng)網(wǎng)絡提取文本輿情信息的文本特征，由第二神經(jīng)網(wǎng)絡提取圖像輿情信息的圖像特征；

構(gòu)造包含節(jié)點及邊緣的圖結(jié)構(gòu)A及圖結(jié)構(gòu)B；圖結(jié)構(gòu)A用于編碼文本特征，其上的節(jié)點與文本特征相對應；圖結(jié)構(gòu)B用于編碼圖像特征，其上的節(jié)點與圖像特征相對應；

將圖像輿情信息與文本輿情信息一一匹配，構(gòu)成若干個圖文對，通過語義損失函數(shù)和三元組損失函數(shù)共同約束訓練；對包含相同圖像輿情信息或相同文本輿情信息的多個圖文對的匹配關聯(lián)度進行評估排序；

將圖結(jié)構(gòu)A構(gòu)造為全連接文本圖，用G^t表示全連接文本圖，G^t＝{N^t,E^t}，N^t是節(jié)點集合，E^t是節(jié)點之間邊的集合，G^t用于代表一個句子中的相關信息；

對文本信息進行編碼，最終節(jié)點向量為雙向LSTM中每個時間步長的隱藏狀態(tài)向量的平均值；

假設句子i中存在q個單詞，使用如下函數(shù)得到節(jié)點集合

利用余弦距離表示邊的集合，來模擬文本節(jié)點之間的關系：

得到一個文本關聯(lián)矩陣A^t∈R^q×q，其中

式中：

表示句子i中第m個單詞；

表示句子i中第m個單詞的特征，以此來表示第m個節(jié)點；

表示句子i中第n個單詞；

表示句子i中第n個單詞的特征，以此來表示第n個節(jié)點；

表示雙向LSTM中第m個單詞的正向隱藏狀態(tài)；

表示雙向LSTM中第m個單詞的反向隱藏狀態(tài)；

表示文本i中，文本圖節(jié)點m和n之間的邊；

表示文本關聯(lián)矩陣中第m行第n列元素。

2.根據(jù)權(quán)利要求1所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關聯(lián)方法，其特征在于，該方法還包括：檢索輿情信息時，以圖搜文模式下，將檢索輸入的圖像輿情信息與檢索輸出的所有文本輿情信息一一匹配成圖文對；以文搜圖模式下，將檢索輸入的文本輿情信息與檢索輸出的所有圖像輿情信息一一匹配成圖文對；對圖文對的匹配關聯(lián)度進行評估排序；假設以圖搜文模式下，輸入圖像A時，文本B在其前k個檢索中，設文本B排名序號為r，r≤k；在以文搜圖模式下，輸入文本B時，圖像A也在其前k個檢索結(jié)果中，設圖像A排名序號為s，s≤k；則r和s更新為兩者中的較小值。

3.根據(jù)權(quán)利要求2所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關聯(lián)方法，其特征在于，采用求解top-k問題的方法對圖文對的匹配關聯(lián)度進行評估排序。

4.根據(jù)權(quán)利要求1所述的用于輿情解析的多模態(tài)數(shù)據(jù)特征提取與關聯(lián)方法，其特征在于，第一神經(jīng)網(wǎng)絡為雙向LSTM神經(jīng)網(wǎng)絡。