[發(fā)明專利]基于多粒度生成圖像增強(qiáng)表示的隱式篇章關(guān)系識別方法

有效

• 申請?zhí)枺?/td>: 202010188895.1
• 申請日: 2020-03-17
• 公開（公告）號: CN111488739B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 賀瑞芳;王建;賀迎春;郭鳳羽;朱永凱
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉子文

本發(fā)明公開一種基于多粒度生成圖像增強(qiáng)表示的隱式篇章關(guān)系識別方法,由于文本本身存在多義性、模糊性等問題，我們首次對聯(lián)想策略進(jìn)行了仿真，提出了一種多粒度生成的圖像并用于增強(qiáng)論元向量表示的神經(jīng)網(wǎng)絡(luò)。具體來說，我們根據(jù)文本的不同粒度(句子級和短語級)來引入相應(yīng)的圖像，這有助于理解篇章的語義。為了更好地捕捉文本圖像的上下文信息，我們根據(jù)文本的序列信息將文本和圖像特征進(jìn)行整合，然后利用自注意力機(jī)制捕獲由兩個(gè)論元拼接而成的圖文向量序列表示整體中的重要圖文信息和交互信息，從而進(jìn)一步豐富論元向量表示，并得到用于識別篇章關(guān)系的特征向量表示，最后將用于識別篇章關(guān)系的特征向量表示輸入到篇章關(guān)系識別層進(jìn)行篇章關(guān)系識別。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理中篇章分析技術(shù)領(lǐng)域，尤其是涉及篇章關(guān)系識別技術(shù)，具體為基于多粒度生成圖像增強(qiáng)表示的隱式篇章關(guān)系識別方法。

背景技術(shù)

篇章分析是自然語言處理(NLP)中的一項(xiàng)基本任務(wù)，它對潛在的篇章關(guān)系結(jié)構(gòu)進(jìn)行分析，并挖掘文本單元之間的聯(lián)系。目前，盡管在包含顯式連接詞(如“因?yàn)椤保暗恰?的顯式篇章關(guān)系識別任務(wù)上取得了巨大進(jìn)步，但是由于篇章連接詞的缺失(Pitler?et?al.,2009)[2]，隱式篇章關(guān)系識別仍然是一個(gè)挑戰(zhàn)。提升隱式篇章關(guān)系識別任務(wù)可以對許多流行自然語言處理(Natural?Language?Processing,NLP)任務(wù)有所幫助，如機(jī)器翻譯(Li?etal.,2014)[3]，自動(dòng)問答等。

現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的模型已經(jīng)在隱式篇章關(guān)系任務(wù)中取得一定的成功。1)基本神經(jīng)網(wǎng)絡(luò)(Zhang?et?al.,2015；Liu?and?Li.,2016)[4,5]可以學(xué)習(xí)篇章論元的稠密向量表示，它可以在一定程度上捕獲語義信息，如卷積神經(jīng)網(wǎng)絡(luò)(Convolutional?NeuralNetworks,CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent?Neural?Network,RNN)，但是忽略了文本序列中每個(gè)詞匯的重要性差異；2)許多研究使用注意力神經(jīng)網(wǎng)絡(luò)捕獲序列詞匯的重要性差異，(Lui?et?al.,2016；Lan?et?al.,2017；et?al.,2017)[6-8]在稠密篇章論元向量表示基礎(chǔ)上學(xué)習(xí)論元序列中每個(gè)詞匯的重要性，選擇性抽取出論元中的重要詞匯，但是忽略了論元間的深層交互信息；3)(Chen?et?al.,2016；Lei?et?al.,2017；Guo?et?al.,2018)[9-11]等雖然考慮到論元間的深層交互信息，使用交互神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)論元對的交互表示，捕獲更為豐富的語義信息，但是忽略了不同粒度的論元表示所包含的不同語義信息；4)多粒度神經(jīng)網(wǎng)絡(luò)從多粒度的角度來增強(qiáng)論元表示，例如，(Qin?et?al.,2016；Dai?et?al.,2018；Bai?et?al.,2018)[12-14]通過挖掘更細(xì)粒度的論元表示，利用不同粒度的論元表示捕獲論元語義信息，進(jìn)而增強(qiáng)篇章關(guān)系識別能力。雖然他們在一定程度上很好地捕獲了論元語義信息，但是這些方法大多數(shù)僅關(guān)注于文本本身，由于文本語義可能存在多義性，歧義性等問題，而且與語境高度相關(guān)。因此論元本身的信息可能不足以用于精確的語義理解。

在認(rèn)知心理學(xué)領(lǐng)域中，(Leutner?et?al.,2009；Mason?et?al.,2013)[15,16]證明了構(gòu)建心理圖像可以減少認(rèn)知負(fù)擔(dān)，增強(qiáng)理解力和學(xué)習(xí)效果，并且文字和圖像的綜合處理對于理解圖文起著重要作用，這表明了聯(lián)想機(jī)制產(chǎn)生的聯(lián)想畫面有助于幫助理解文本信息。

在計(jì)算機(jī)視覺領(lǐng)域中，1)(Mao?et?al.,2014；Pan?et?al.,2016)[17,18]等已經(jīng)證明圖像能表達(dá)相關(guān)句子的重要信息；2)(Jin?et?al.,2017)[19]通過將文本表示和圖像表示進(jìn)行拼接獲得文本-圖像聯(lián)合表示，進(jìn)而對文本及文本對應(yīng)的圖像進(jìn)行分類；3)(Xu?etal.,2018)[1]通過注意力生成網(wǎng)絡(luò)(AttnGAN)關(guān)注自然語言描述中的相關(guān)單詞來合成圖像不同子區(qū)域的細(xì)粒度細(xì)節(jié)，進(jìn)而可以根據(jù)給定的文本得到較高質(zhì)量的圖像。受到他們工作的啟發(fā)，考慮圖像的上下文信息，對于句子語義理解和篇章關(guān)系識別是必不可少的。

發(fā)明內(nèi)容