[發(fā)明專利]基于深度雙向注意力機(jī)制的文本網(wǎng)絡(luò)信息融合嵌入方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911144528.5
• 申請(qǐng)日: 2019-11-20
• 公開（公告）號(hào): CN110874392B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 印鑒;藍(lán)海珊
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F16/31
• 分類號(hào): G06F16/31;G06F16/33;G06F40/205;G06F40/30;G06N3/0464;G06N3/084
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明提供一種基于深度雙向注意力機(jī)制的文本網(wǎng)絡(luò)信息融合嵌入方法，該方法使用兩種向量表示來分別代表網(wǎng)絡(luò)中節(jié)點(diǎn)的結(jié)構(gòu)信息和文本信息，通過深度雙向注意力機(jī)制將同個(gè)節(jié)點(diǎn)的結(jié)構(gòu)信息和文本信息進(jìn)行融合，讓結(jié)構(gòu)信息和文本信息進(jìn)行相互選擇，最后將融合得到的結(jié)構(gòu)、文本注意力信息再和原始信息進(jìn)行融合，作為最終的結(jié)構(gòu)和文本向量表達(dá)，每一個(gè)節(jié)點(diǎn)的最終向量表示由學(xué)習(xí)得到的結(jié)構(gòu)和文本向量相拼接得到。對(duì)于損失函數(shù)的設(shè)計(jì)，本發(fā)明在訓(xùn)練的時(shí)候傾向于讓相鄰節(jié)點(diǎn)具備相似的結(jié)構(gòu)表達(dá)和相似的文本表達(dá)，過程中使用的數(shù)據(jù)集為zhihu、Cora和Hepth，在這三個(gè)數(shù)據(jù)集上進(jìn)行關(guān)系預(yù)測。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理中的文本網(wǎng)絡(luò)嵌入相關(guān)領(lǐng)域，更具體地，涉及一種基于深度雙向注意力機(jī)制的文本網(wǎng)絡(luò)信息融合嵌入方法。

背景技術(shù)

在現(xiàn)代社會(huì)，伴隨著網(wǎng)絡(luò)的快速發(fā)展，人們可以很方便地在網(wǎng)絡(luò)上發(fā)布一些文字信息與好友進(jìn)行交流。例如我們可以在微信發(fā)布文字朋友圈，并在朋友圈下面跟自己的好友互相評(píng)論；我們還可以在網(wǎng)購平臺(tái)上給購買的商品填寫評(píng)價(jià)，或者回答好友關(guān)于購買商品的提問。如果我們想將上述例子提到的人與人之間的好友關(guān)系以及其發(fā)布的文本信息記錄下來，我們會(huì)發(fā)現(xiàn)網(wǎng)絡(luò)提供了一種非常方便的形式來記錄這些數(shù)據(jù)。我們可以將網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)當(dāng)做每一個(gè)用戶，用節(jié)點(diǎn)之間的邊的存在情況代表用戶之間社會(huì)關(guān)系的存在情況，同時(shí)每個(gè)節(jié)點(diǎn)還可以附帶文本數(shù)據(jù)，這樣的網(wǎng)絡(luò)被稱之為文本網(wǎng)絡(luò)。

通常情況下，文本網(wǎng)絡(luò)會(huì)包含幾千萬甚至上億的邊、節(jié)點(diǎn)以及附帶的文本信息，這就使得我們很難在整個(gè)網(wǎng)絡(luò)上直接計(jì)算復(fù)雜度較高的運(yùn)算。為了解決這個(gè)問題，文本網(wǎng)絡(luò)嵌入技術(shù)面世，其旨在針對(duì)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)，根據(jù)其結(jié)構(gòu)信息與文本內(nèi)容進(jìn)行特征抽取，得到每個(gè)節(jié)點(diǎn)低維度的特征向量表示。利用學(xué)習(xí)到的節(jié)點(diǎn)低維度向量表示，我們就可以將原本針對(duì)節(jié)點(diǎn)間關(guān)系計(jì)算的許多計(jì)算復(fù)雜度較高的運(yùn)算轉(zhuǎn)換成簡單的對(duì)節(jié)點(diǎn)間所得向量相似度的計(jì)算，通過計(jì)算向量之間的余弦值或者向量間點(diǎn)積值來衡量節(jié)點(diǎn)之間關(guān)系的強(qiáng)弱。

發(fā)明內(nèi)容

本發(fā)明提供一種提升文本網(wǎng)絡(luò)嵌入表達(dá)質(zhì)量的基于深度雙向注意力機(jī)制的文本網(wǎng)絡(luò)信息融合嵌入方法。

為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

一種基于深度雙向注意力機(jī)制的文本網(wǎng)絡(luò)信息融合嵌入方法，包括以下步驟：

S1：對(duì)節(jié)點(diǎn)的結(jié)構(gòu)特征和文本特征進(jìn)行提取；

S2：建立深度雙向注意力機(jī)制將同個(gè)節(jié)點(diǎn)的結(jié)構(gòu)特征和文本特征進(jìn)行融合；

S3：通過深度雙向注意力機(jī)制融合得到的結(jié)構(gòu)特征和文本特征，設(shè)計(jì)損失函數(shù)，使鄰居節(jié)點(diǎn)的結(jié)構(gòu)特征和文本特征相似。

進(jìn)一步地，所述步驟S1的具體過程是：

S11：對(duì)節(jié)點(diǎn)的結(jié)構(gòu)特征進(jìn)行提取：使用矩陣S∈R^|V|×d來保存整個(gè)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的結(jié)構(gòu)特征，其中|V|表示所有節(jié)點(diǎn)的總個(gè)數(shù)，d表示結(jié)構(gòu)特征的維度，矩陣S的每一行s_i∈S表示第i個(gè)節(jié)點(diǎn)的結(jié)構(gòu)特征表示，根據(jù)節(jié)點(diǎn)的索引從S矩陣中取出第i個(gè)節(jié)點(diǎn)的結(jié)構(gòu)特征表示，矩陣S是隨機(jī)初始化的，并作為模型的參數(shù)，在訓(xùn)練的時(shí)候根據(jù)最終的目標(biāo)方程自動(dòng)優(yōu)化；

S12：對(duì)節(jié)點(diǎn)的文本特征進(jìn)行提取：對(duì)文本的詞序列，使用詞嵌入技術(shù)轉(zhuǎn)換為詞向量序列后使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，得到每個(gè)節(jié)點(diǎn)文本的特征矩陣。對(duì)特征矩陣使用平均池化操作得到每個(gè)節(jié)點(diǎn)文本的原始文本特征。

進(jìn)一步地，所述步驟S1中還包括：