[發(fā)明專(zhuān)利]基于知識(shí)鞏固的增量事件識(shí)別方法、系統(tǒng)、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011244409.X
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112101484B
• 公開(kāi)（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 陳玉博;趙軍;劉康;曹鵬飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種基于知識(shí)鞏固的增量事件識(shí)別方法、系統(tǒng)、裝置，旨在解決現(xiàn)有的事件識(shí)別方法在微調(diào)模型后識(shí)別新類(lèi)別的事件時(shí)，容易出現(xiàn)災(zāi)難遺忘，導(dǎo)致識(shí)別精度較低的問(wèn)題。本系統(tǒng)方法包括獲取待識(shí)別事件的文本，作為輸入文本；通過(guò)預(yù)訓(xùn)練的語(yǔ)言模型提取輸入文本中各單詞的上下文特征；基于所述上下文特征，通過(guò)多層感知器模型得到待識(shí)別事件的類(lèi)別。本發(fā)明提高了事件識(shí)別的精度。

技術(shù)領(lǐng)域

本發(fā)明屬于自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種基于知識(shí)鞏固的增量事件識(shí)別方法、系統(tǒng)、裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的大規(guī)模發(fā)展，信息的獲取變得越來(lái)越容易，人們幾乎無(wú)時(shí)無(wú)刻都會(huì)接觸涉及各個(gè)領(lǐng)域的海量信息，比如體育、娛樂(lè)、軍事等等領(lǐng)域的新聞。然而這些信息一般都是無(wú)序、雜亂、非結(jié)構(gòu)的，并且存在一定程度的信息冗余。如何在計(jì)算機(jī)的輔助下，從海量信息中發(fā)現(xiàn)感興趣的事件是亟需解決的問(wèn)題。事件識(shí)別（Event Identification）技術(shù)正是解決這一問(wèn)題的有力手段。事件識(shí)別是事件抽取（Event Extraction）的一個(gè)獨(dú)立的子任務(wù)，主要研究如何從含有事件信息的非結(jié)構(gòu)化文本中識(shí)別出用戶(hù)感興趣的事件及其類(lèi)型。

一個(gè)事件由一個(gè)觸發(fā)詞（trigger）、一種事件類(lèi)型（event type）和若干事件的參與者及其角色（arguments and roles）組成，其中事件的觸發(fā)詞是文本中最能指示事件發(fā)生的詞。事件抽取的目標(biāo)是如何從描述事件的自然語(yǔ)言文本中抽取事件的上述各個(gè)成分，并以結(jié)構(gòu)化的形式展現(xiàn)出來(lái)。例如，對(duì)于文本“He died in hotel.”，一個(gè)理想的事件抽取結(jié)果如表1所示。

表1

事件識(shí)別和事件抽取的不同之處在于，其只關(guān)注事件觸發(fā)詞和事件類(lèi)型的識(shí)別，并不關(guān)注事件參與者及其角色。例如，對(duì)于上面的例子，事件識(shí)別的任務(wù)是識(shí)別出該句子描述了一個(gè)事件，該事件的觸發(fā)詞是“died”，事件類(lèi)型是Die。

現(xiàn)有的事件識(shí)別方法都是要求提前固定好事件類(lèi)別，并且在相應(yīng)的數(shù)據(jù)上進(jìn)行訓(xùn)練。這種實(shí)驗(yàn)設(shè)定雖然簡(jiǎn)單，便于測(cè)試，但很難滿足實(shí)際應(yīng)用。在實(shí)際應(yīng)用中，新的事件類(lèi)別往往會(huì)不斷出現(xiàn)，所以一個(gè)實(shí)用化的事件識(shí)別系統(tǒng)需要能夠不斷地學(xué)習(xí)新的事件類(lèi)別。而現(xiàn)有的事件識(shí)別方法如果將訓(xùn)練好的事件識(shí)別模型在新的事件類(lèi)別數(shù)據(jù)上進(jìn)行微調(diào)，模型會(huì)存在“災(zāi)難遺忘”的問(wèn)題，即模型對(duì)已有事件類(lèi)別的識(shí)別性能會(huì)嚴(yán)重下降。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，即為了解決現(xiàn)有的事件識(shí)別方法在微調(diào)模型后識(shí)別新類(lèi)別的事件時(shí)，容易出現(xiàn)災(zāi)難遺忘，導(dǎo)致識(shí)別精度較低的問(wèn)題，本發(fā)明第一方面，提出了一種基于知識(shí)鞏固的增量事件識(shí)別方法，該方法包括：

步驟S10，獲取待識(shí)別事件的文本，作為輸入文本；

步驟S20，通過(guò)預(yù)訓(xùn)練的語(yǔ)言模型提取所述輸入文本中各單詞的上下文特征，并通過(guò)多層感知器模型得到所述待識(shí)別事件的類(lèi)別；

所述語(yǔ)言模型、所述多層感知器模型，訓(xùn)練方法為：

步驟A10，獲取新類(lèi)別的事件數(shù)據(jù)，并結(jié)合記憶單元中存儲(chǔ)的舊類(lèi)別的事件數(shù)據(jù)，構(gòu)建訓(xùn)練樣本集；所述事件數(shù)據(jù)包括事件的文本及事件的真實(shí)類(lèi)別；

步驟A20，對(duì)訓(xùn)練樣本集中的各事件，通過(guò)語(yǔ)言模型提取其文本中每個(gè)單詞的上下文特征，并通過(guò)多層感知器模型得到其對(duì)應(yīng)的預(yù)測(cè)類(lèi)別；

步驟A30，基于訓(xùn)練樣本集中各事件的真實(shí)類(lèi)別、預(yù)測(cè)類(lèi)別，通過(guò)交叉熵?fù)p失函數(shù)獲取交叉熵?fù)p失值，作為第一損失值；

步驟A40，對(duì)訓(xùn)練樣本集中舊類(lèi)別的事件、新類(lèi)別的事件，基于其文本中每個(gè)單詞的上下文特征，通過(guò)預(yù)設(shè)的第一蒸餾損失函數(shù)獲取基于特征的蒸餾損失值，作為第二損失值；并基于其預(yù)測(cè)類(lèi)別對(duì)應(yīng)的概率分布，通過(guò)預(yù)設(shè)的第二蒸餾損失函數(shù)得到基于預(yù)測(cè)的蒸餾損失值，作為第三損失值；