[發(fā)明專(zhuān)利]基于強(qiáng)化學(xué)習(xí)的級(jí)聯(lián)信息提取系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011132768.6
• 申請(qǐng)日: 2020-10-21
• 公開(kāi)（公告）號(hào): CN112487811B
• 公開(kāi)（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 姜華;田濟(jì)東;陳文清;肖力強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海旻浦科技有限公司
• 主分類(lèi)號(hào): G06F40/295
• 分類(lèi)號(hào): G06F40/295;G06F40/30;G06N3/04
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 張寧展

本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的級(jí)聯(lián)信息提取系統(tǒng)及方法，其中，預(yù)訓(xùn)練模塊用于獨(dú)立訓(xùn)練定位模塊和分類(lèi)模塊，得到的預(yù)訓(xùn)練參數(shù)直接傳遞至強(qiáng)化訓(xùn)練模塊中對(duì)應(yīng)的定位模塊和分類(lèi)模塊中；強(qiáng)化訓(xùn)練模塊用于對(duì)定位模塊和分類(lèi)模塊進(jìn)行聯(lián)合訓(xùn)練，并通過(guò)強(qiáng)化學(xué)習(xí)框架進(jìn)一步優(yōu)化定位模塊和分類(lèi)模塊，得到的強(qiáng)化訓(xùn)練參數(shù)直接復(fù)用于預(yù)測(cè)模塊中對(duì)應(yīng)的定位模塊和分類(lèi)模塊；預(yù)測(cè)模塊用于對(duì)待檢測(cè)文本進(jìn)行信息提取，以待檢測(cè)文本為輸入，依次通過(guò)定位模塊和分類(lèi)模塊，輸出待檢測(cè)文本的實(shí)體、關(guān)系和事件信息。本發(fā)明采用強(qiáng)化學(xué)習(xí)的方法有效解決級(jí)聯(lián)模型存在不可導(dǎo)過(guò)程的問(wèn)題，避免單獨(dú)訓(xùn)練的模型在連接過(guò)程中產(chǎn)生的累積誤差，從而保證信息提取的有效性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域中的一種信息提取技術(shù)，具體地，涉及一種基于強(qiáng)化學(xué)習(xí)的級(jí)聯(lián)信息提取系統(tǒng)及方法。

背景技術(shù)

信息提取是自然語(yǔ)言處理中的一類(lèi)基礎(chǔ)任務(wù)，主要包含如命名實(shí)體識(shí)別、關(guān)系抽取以及事件抽取等多個(gè)子任務(wù)。這些任務(wù)為后續(xù)復(fù)雜任務(wù)、如閱讀理解、問(wèn)答系統(tǒng)、文本生成等提供重要的支持。

通常，實(shí)體識(shí)別、關(guān)系抽取和事件抽取具有不同的定義方式，命名實(shí)體識(shí)別往往可以定義為序列標(biāo)注任務(wù)，而事件抽取則是在特定語(yǔ)境下的分類(lèi)任務(wù)，事件抽取比較復(fù)雜，可以看作兩個(gè)序列標(biāo)注任務(wù)的級(jí)聯(lián)。此外，如果待提取的信息還存在嵌套形式，任務(wù)將變的更加復(fù)雜。想要統(tǒng)一提取不同類(lèi)型的信息，目前常用的方法是通過(guò)多任務(wù)學(xué)習(xí)實(shí)現(xiàn)，然而，即使在多任務(wù)模型中，不同信息提取任務(wù)往往也需要通過(guò)定義不同的模塊實(shí)現(xiàn)。這些模塊同樣采用已有的深度學(xué)習(xí)或者強(qiáng)化學(xué)習(xí)模型，如強(qiáng)化學(xué)習(xí)框架下的lattice-LSTM命名實(shí)體識(shí)別模型，基于強(qiáng)化學(xué)習(xí)的關(guān)系抽取模型等，通過(guò)共享一些信息實(shí)現(xiàn)多任務(wù)的聯(lián)合訓(xùn)練，并未實(shí)質(zhì)解決不同類(lèi)型信息的統(tǒng)一提取。綜上所述，迄今沒(méi)有一個(gè)統(tǒng)一的學(xué)習(xí)框架可以一次性高效率的提取實(shí)體、關(guān)系以及事件等不同類(lèi)型的信息。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的上述不足，提供了一種基于強(qiáng)化學(xué)習(xí)的級(jí)聯(lián)信息提取系統(tǒng)及方法。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于強(qiáng)化學(xué)習(xí)的級(jí)聯(lián)信息提取系統(tǒng)，包括：預(yù)訓(xùn)練模塊、強(qiáng)化訓(xùn)練模塊和預(yù)測(cè)模塊，每一個(gè)模塊中均包括定位模塊和分類(lèi)模塊；

其中：

所述預(yù)訓(xùn)練模塊用于獨(dú)立訓(xùn)練定位模塊和分類(lèi)模塊，得到的預(yù)訓(xùn)練參數(shù)直接傳遞至強(qiáng)化訓(xùn)練模塊中對(duì)應(yīng)的定位模塊和分類(lèi)模塊中；

所述強(qiáng)化訓(xùn)練模塊用于對(duì)定位模塊和分類(lèi)模塊進(jìn)行聯(lián)合訓(xùn)練，并通過(guò)強(qiáng)化學(xué)習(xí)框架進(jìn)一步優(yōu)化定位模塊和分類(lèi)模塊，得到的強(qiáng)化訓(xùn)練參數(shù)直接復(fù)用于預(yù)測(cè)模塊中對(duì)應(yīng)的定位模塊和分類(lèi)模塊；

所述預(yù)測(cè)模塊用于對(duì)待檢測(cè)文本進(jìn)行信息提取，以待檢測(cè)文本為輸入，依次通過(guò)定位模塊和分類(lèi)模塊，輸出待檢測(cè)文本的實(shí)體、關(guān)系和事件信息。

優(yōu)選地，所述強(qiáng)化學(xué)習(xí)模塊還包括：行為模塊和評(píng)價(jià)模塊和優(yōu)化模塊；其中：

所述定位模塊和分類(lèi)模塊的初始化參數(shù)直接從預(yù)訓(xùn)練模塊中繼承；

所述行為模塊以定位模塊選擇的模型作為策略，根據(jù)定位模塊和分類(lèi)模塊輸出的概率分布進(jìn)行采樣，得到下一步預(yù)測(cè)的行為，并通過(guò)定義環(huán)境和獎(jiǎng)勵(lì)函數(shù)對(duì)預(yù)測(cè)的行為進(jìn)行打分，得到對(duì)應(yīng)的分值作為獎(jiǎng)勵(lì)；

所述評(píng)價(jià)模塊以定位模塊和分類(lèi)模塊的輸出作為輸入，通過(guò)另外一個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算獎(jiǎng)勵(lì)的期望作為獎(jiǎng)勵(lì)的閾值；

所述優(yōu)化模塊通過(guò)行為模塊輸出的獎(jiǎng)勵(lì)和評(píng)價(jià)模塊輸出的閾值優(yōu)化定位模塊和分類(lèi)模塊中的模型參數(shù)。

優(yōu)選地，所述獎(jiǎng)勵(lì)函數(shù)與準(zhǔn)確率和召回率指標(biāo)相關(guān)，采用歸一化的局部F1值與預(yù)期F1差值作為獎(jiǎng)勵(lì)函數(shù)；和/或

所述優(yōu)化模塊采用交叉熵?fù)p失函數(shù)作為優(yōu)化過(guò)程中的損失函數(shù)。