[發(fā)明專利]基于知識圖信息引導的篇章級事件角色識別方法

在審

• 申請?zhí)枺?/td>: 202210570151.5
• 申請日: 2022-05-24
• 公開（公告）號: CN114880434A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 余正濤;陳龍;黃于欣;線巖團
• 申請（專利權(quán)）人: 昆明理工大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/211;G06F40/216;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 昆明隆合知識產(chǎn)權(quán)代理事務所(普通合伙) 53220
• 代理人: 何嬌

本發(fā)明涉及基于知識圖信息引導的篇章級事件角色識別方法，屬自然語言處理領(lǐng)域。本發(fā)明先在編碼模塊使用Transformer編碼端捕獲文檔的語義信息，使用雙向循環(huán)神經(jīng)網(wǎng)絡捕獲文檔中句子級的語義信息。再根據(jù)篇章中句子三元組關(guān)系，并通過聚類的方式構(gòu)建跨句子元組元素的依賴關(guān)系，獲取知識圖信息，利用圖卷積模塊增強模型對文本語義的理解。最后利用融合推理模塊實現(xiàn)對文本的事件角色信息的識別。本發(fā)明事件角色識別需要識別出文本的事件角色信息，目前針對篇章事件角色識別中跨越句子限制，捕獲長序列文本的長距離特征提取過程信息丟失問題，使用文本構(gòu)建的知識圖信息解決文本長距離特征提取過程中信息丟失問題，加深對文本語義的理解。

技術(shù)領(lǐng)域

本發(fā)明涉及基于知識圖信息引導的篇章級事件角色識別方法，屬于自然語言處理技術(shù)領(lǐng)域。

背景技術(shù)

中文新聞文本事件角色識別旨在采用序列標注的模式識別新聞文本中的事件角色信息。文檔的事件角色信息是對文檔的主體信息的表達，有助于快速理解文本內(nèi)容。現(xiàn)有的事件角色抽取模型大都集中在句子層面,而文檔級事件角色抽取與從獨立句子中抽取事件不同，文檔級事件抽取模型對序列特征提取有特殊的要求。跨越句子限制，捕捉長序列中的長距離文本特征提取文本信息丟失仍然是文檔事件角色識別任務的最大難點。當前的特征提取過程中，模型只關(guān)注上下文的語義信息，而忽略了文本關(guān)鍵信息及其信息之間的關(guān)聯(lián)關(guān)系對文本語義信息的影響，導致模型對文本的語義理解仍然不夠準確和深入。本發(fā)明通過構(gòu)建文本知識圖解決長序列特征提取過程中文本信息丟失問題具有重要意義。

發(fā)明內(nèi)容

本發(fā)明提供了基于知識圖信息引導的篇章級事件角色識別方法，以用于解決目前篇章級事件角色識別中長序列長距離依賴問題。

本發(fā)明的技術(shù)方案是：基于知識圖信息引導的篇章級事件角色識別方法，所述基于知識圖信息引導的篇章級事件角色識別方法的具體步驟如下：

Step1、抽取文本句子中的三元組信息，并基于實體、高頻詞、關(guān)鍵詞等信息對三元組元素進行聚類，以此構(gòu)建三元組元素之間的關(guān)聯(lián)關(guān)系，形成文檔的知識圖信息；

Step2、將文本通過預訓練Bert和預訓練詞向量兩種不同的方式進行向量化表示作為編碼器的輸入；

Step3、通過Transformer編碼端對文檔進行編碼；

Step4、通過Bi-LSTM網(wǎng)絡對文本句子級進行編碼；

Step5、使用圖卷積模塊將文本的向量表示與知識圖信息進行聯(lián)合學習，得到融合知識圖信息的向量表示；

Step6、最后通過融合推理模塊中的選通融合機制實現(xiàn)不同粒度文本信息的融合，然后利用CRF層進行事件角色信息識別推理，以完成事件的角色信息的識別。

作為本發(fā)明的優(yōu)選方案，所述步驟Step1的具體步驟為：

Step1.1、使用斯坦福工具對文本的句子抽取其三元組信息，將每個三元組中的元素，構(gòu)建相互依賴關(guān)系；

Step1.2、基于句子的三元組的元素，通過判斷句子三元組元素是否為文檔高頻詞、關(guān)鍵詞和實體信息等，以此進行聚類。將同一類型下的元素構(gòu)建相互之間的關(guān)系，并結(jié)合三元組內(nèi)部之間的圖結(jié)構(gòu)，構(gòu)建文本全局的圖結(jié)構(gòu)，以此形成對文檔語義信息的知識圖信息；

作為本發(fā)明的優(yōu)選方案，所述步驟Step2的具體步驟：

Step2.1、首先，根據(jù)預訓練詞向量表將文本轉(zhuǎn)換成向量表示，分別得到文本的字符嵌入X_c:

X_c＝Embedding(T_c) (1)