[發(fā)明專利]一種基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取方法

有效

• 申請?zhí)枺?/td>: 202011059653.9
• 申請日: 2020-09-30
• 公開（公告）號: CN112163426B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 張勇;高大林;鞏敦衛(wèi);郭一楠;孫曉燕
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/284;G06F40/211;G06F16/31;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 周科技

本發(fā)明公開了一種基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取方法。包括如下步驟：通過BiLSTM提取句子中的上下文信息，并引入實體位置信息和實體標(biāo)簽信息來擴(kuò)充詞向量特征；通過Stanford Parser工具進(jìn)行句子依存結(jié)構(gòu)樹的提取生成初始句子結(jié)構(gòu)矩陣，引入注意力機(jī)制對初始句子結(jié)構(gòu)矩陣進(jìn)行注意力計算，得到句子中結(jié)構(gòu)矩陣的權(quán)重信息；將提取出的句子上下文信息和句子結(jié)構(gòu)的權(quán)重信息作為輸入，使用基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取模型對輸入進(jìn)行關(guān)系抽取，最終得到實體的三元組信息。本發(fā)明方法分別在TACRED數(shù)據(jù)結(jié)和Semeval2010 task?8數(shù)據(jù)集上進(jìn)行了測評，該模型的表現(xiàn)優(yōu)于目前主流的深度學(xué)習(xí)抽取的模型。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理中關(guān)系抽取技術(shù)領(lǐng)域，尤其涉及一種基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取方法。

背景技術(shù)

隨著人工智能和大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)上信息增長速度越來越快，如何高效快速地從非結(jié)構(gòu)化文本中提取有效的信息是學(xué)者們研究的重點。文本信息抽取包含實體抽取，關(guān)系抽取，事件抽取，因果抽取等。關(guān)系抽取作為文本信息抽取的一個重要的子任務(wù)，關(guān)系抽取是指從非結(jié)構(gòu)化的文本中抽取出實體對之間的三元組信息，即實體1，實體2，關(guān)系。關(guān)系抽取作為自然語言處理中一項常見切重要的子任務(wù)，目前已被成功用于生物醫(yī)學(xué)知識發(fā)現(xiàn)、知識圖譜領(lǐng)域和問答領(lǐng)域等諸多自然語言處理領(lǐng)域。

現(xiàn)有關(guān)系提取模型或方法可大體分為兩類：序列模型和依賴關(guān)系模型。序列模型主要針對單詞序列進(jìn)行建模，而依賴關(guān)系模型則是以句法依存關(guān)系樹為基礎(chǔ)，構(gòu)建依賴關(guān)系模型。相對于序列模型而言，依賴關(guān)系模型可以利用句法依存樹提取出句子中隱藏的非局部語法關(guān)系,進(jìn)而建立句內(nèi)長距離的依賴關(guān)系，更好建模出句子的結(jié)構(gòu)信息。

依賴關(guān)系模型主要是通過將卷積神經(jīng)網(wǎng)絡(luò)或長短時記憶神經(jīng)網(wǎng)絡(luò)演變成圖結(jié)構(gòu)或樹結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)來構(gòu)建關(guān)系抽取模型，其中應(yīng)用最多的是圖卷積神經(jīng)網(wǎng)絡(luò)，圖卷積神經(jīng)網(wǎng)絡(luò)可以很好地學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的信息，卻難以有效處理時序數(shù)據(jù)。這就意味著，面向具備時序特性的文本數(shù)據(jù),只依賴圖卷積神經(jīng)網(wǎng)絡(luò)并不能很好地抽取文本中時序信息。另外傳統(tǒng)依賴關(guān)系模型是完全依賴句法依存關(guān)系樹，如果句法依存關(guān)系樹解析錯誤或在解析過程中刪除了有用信息，會導(dǎo)致錯誤累加和信息丟失的情況。因此，目前急需建立一種更為有效的能夠同時建模句子結(jié)構(gòu)信息和句子時序上下文信息的依賴關(guān)系模型。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取方法，提取句中結(jié)構(gòu)信息和時序上下文信息，從而更全面地建模句子語義信息，實現(xiàn)關(guān)系抽取。

本發(fā)明所采用的技術(shù)方案是：一種基于注意力機(jī)制與圖長短時記憶神經(jīng)網(wǎng)絡(luò)結(jié)合的關(guān)系抽取方法，包括以下步驟：

步驟1，獲取關(guān)系抽取數(shù)據(jù)集，對數(shù)據(jù)集中文本數(shù)據(jù)進(jìn)行預(yù)處理，生成用于句子時序上下文信息特征提取的詞向量矩陣和用于句子結(jié)構(gòu)信息特征提取的鄰接矩陣；

步驟2，構(gòu)建注意力圖長短時記憶神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型；采用生成的詞向量矩陣和鄰接矩陣作為模型的輸入，關(guān)系類別標(biāo)簽作為輸出，訓(xùn)練該關(guān)系抽取模型；

步驟3，獲取關(guān)系抽取測試集，利用訓(xùn)練好的關(guān)系抽取模型對測試集進(jìn)行關(guān)系抽取。

進(jìn)一步的，所述步驟1中，生成詞向量矩陣和鄰接矩陣的方法如下：

通過引入實體標(biāo)簽信息和實體位置信息來擴(kuò)充詞向量；所述的實體標(biāo)簽信息是通過自然語言處理工具為句子文本進(jìn)行命名實體識別，打上相應(yīng)標(biāo)簽；

所述的實體位置信息是根據(jù)不同單詞到兩個實體的距離來生成；最后生成用于提取句子時序上下文特征的詞向量矩陣，即詞嵌入矩陣；

利用自然語言處理工具對句子進(jìn)行依存結(jié)構(gòu)分析，生成原始句子依存結(jié)構(gòu)樹，將句子依存結(jié)構(gòu)樹進(jìn)行補(bǔ)全，轉(zhuǎn)化成句子結(jié)構(gòu)圖，進(jìn)而將句子結(jié)構(gòu)圖轉(zhuǎn)化成鄰接矩陣。