[發(fā)明專(zhuān)利]基于注意力機(jī)制的事件抽取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011301062.8
• 申請(qǐng)日: 2020-11-19
• 公開(kāi)（公告）號(hào): CN112307761A
• 公開(kāi)（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 李明玉;劉方然;徐常亮;賀大為
• 申請(qǐng)（專(zhuān)利權(quán)）人: 新華智云科技有限公司;新華通訊社新媒體中心
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F40/216;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州裕陽(yáng)聯(lián)合專(zhuān)利代理有限公司 33289
• 代理人: 田金霞

本發(fā)明公開(kāi)一種基于注意力機(jī)制的事件抽取方法及系統(tǒng)，其中抽取方法包括以下步驟：獲取待處理文本及其事件類(lèi)型，提取所述待處理文本中各字的向量，獲得文本向量數(shù)據(jù)，提取所述事件類(lèi)型中各字的向量，生成事件類(lèi)型向量數(shù)據(jù)；將所述文本向量數(shù)據(jù)和所述事件類(lèi)型向量數(shù)據(jù)輸入預(yù)先構(gòu)建的抽取詞預(yù)測(cè)模型，獲得所述待處理文本中每個(gè)字所對(duì)應(yīng)的標(biāo)簽所形成的標(biāo)簽序列；基于所述標(biāo)簽序列對(duì)所述待處理文本進(jìn)行事件抽取，獲得相應(yīng)的事件觸發(fā)詞和事件論元。本發(fā)明中通過(guò)引入事件類(lèi)型，結(jié)合事件類(lèi)型對(duì)應(yīng)的特征數(shù)據(jù)對(duì)事件觸發(fā)詞和事件論元進(jìn)行聯(lián)合抽取，有效提升事件抽取的準(zhǔn)召率。

技術(shù)領(lǐng)域

本發(fā)明涉及信息抽取領(lǐng)域，尤其涉及一種基于注意力機(jī)制的事件抽取方法及系統(tǒng)。

背景技術(shù)

事件作為信息的一種表現(xiàn)形式，其定義為特定的人及物在特定的時(shí)間特定的地點(diǎn)相互作用的事實(shí)，其組成元素包含觸發(fā)詞、事件類(lèi)型、論元以及論元角色；事件抽取的目標(biāo)即自動(dòng)化地從非結(jié)構(gòu)化的信息中完成上述信息的獲取，并結(jié)構(gòu)化后進(jìn)行展示。事件抽取是信息抽取領(lǐng)域中一項(xiàng)重要且具有挑戰(zhàn)性的任務(wù)，其可以為知識(shí)庫(kù)構(gòu)建，問(wèn)答以及語(yǔ)言理解任務(wù)提供有效的結(jié)構(gòu)化信息。

現(xiàn)有的事件抽取方法大多采用事件觸發(fā)詞和事件論元分開(kāi)抽取的pipeline方式，導(dǎo)致兩個(gè)子任務(wù)錯(cuò)誤率傳播，同時(shí)事件觸發(fā)詞特征不能作用到下游任務(wù)，進(jìn)而導(dǎo)致準(zhǔn)召率較低。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)中的缺點(diǎn)，提供了一種基于注意力機(jī)制的事件抽取方法及系統(tǒng)，通過(guò)引入事件類(lèi)型，聯(lián)合抽取待處理文本在該事件類(lèi)型下的事件觸發(fā)詞和事件論元，從而有效提高準(zhǔn)召性。

為了解決上述技術(shù)問(wèn)題，本發(fā)明通過(guò)下述技術(shù)方案得以解決：

一種基于注意力機(jī)制的事件抽取方法，包括以下步驟：

將事件觸發(fā)詞和事件論元作為抽取詞，收集樣本文本及其事件類(lèi)型，還為所述樣本文本中各抽取詞所對(duì)應(yīng)的每個(gè)字標(biāo)注樣本標(biāo)簽；

提取所述樣本文本中每個(gè)字的向量，獲得樣本文本向量，提取所述事件類(lèi)型中每個(gè)字的向量，獲得樣本類(lèi)型向量；

基于所述樣本文本向量、所述樣本類(lèi)型向量和所述樣本標(biāo)簽訓(xùn)練獲得抽取詞預(yù)測(cè)模型；

獲取待處理文本及其事件類(lèi)型，提取所述待處理文本中各字的向量，獲得文本向量數(shù)據(jù)，提取所述事件類(lèi)型中各字的向量，生成事件類(lèi)型向量數(shù)據(jù)；

將所述文本向量數(shù)據(jù)和所述事件類(lèi)型向量數(shù)據(jù)輸入所述抽取詞預(yù)測(cè)模型，獲得所述待處理文本中每個(gè)字所對(duì)應(yīng)的標(biāo)簽所形成的標(biāo)簽序列；

基于所述標(biāo)簽序列對(duì)所述待處理文本進(jìn)行事件抽取，獲得相應(yīng)的事件觸發(fā)詞和事件論元。

作為一種可實(shí)施方式：

所述標(biāo)簽用于指示所對(duì)應(yīng)的字是否屬于抽取詞，以及當(dāng)其屬于抽取詞時(shí)，所述字在抽取詞中的中的位置和所述抽取詞的類(lèi)別。

作為一種可實(shí)施方式，所述抽取詞預(yù)測(cè)模型包括：

第一表征層，用于對(duì)所述文本向量數(shù)據(jù)進(jìn)行計(jì)算，生成文本序列表征；

第二表征層，用于對(duì)所述事件類(lèi)型向量數(shù)據(jù)進(jìn)行計(jì)算，生成事件類(lèi)型表征；

注意力層，用于基于注意力機(jī)制，根據(jù)所述事件類(lèi)型表征和所述文本序列表征生成注意力文本序列表征；

特征拼接層，用于將所述文本序列表征和所述注意力文本序列表征進(jìn)行逐字拼接，生成融合文本序列表征；

全連接層，用于對(duì)所述融合文本序列表征進(jìn)行全連接處理，獲得對(duì)應(yīng)字屬于各類(lèi)別的標(biāo)簽的概率，生成標(biāo)簽矩陣；

CRF層，基于條件隨機(jī)場(chǎng)對(duì)所述標(biāo)簽矩陣進(jìn)行解碼，獲得各字的標(biāo)簽，生成相應(yīng)的識(shí)別結(jié)果序列。

作為一種可實(shí)施方式：