[發(fā)明專利]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文事件抽取方法

在審

• 申請?zhí)枺?/td>: 202011571592.4
• 申請日: 2020-12-27
• 公開（公告）號: CN112613305A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計）人: 王嘉旭;王潔
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

1.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文事件抽取方法，其特征在于：該方法包括如下步驟，

步驟1：將語料庫中的語料進行分句處理，并把每一個句子輸入到預(yù)訓(xùn)練的bert模型中，得到句子中每一個字對應(yīng)的動態(tài)編碼；

步驟2：將經(jīng)過步驟1編碼的向量輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中，經(jīng)過雙向的lstm單元進行特征提取，得到每一個字對應(yīng)的網(wǎng)絡(luò)輸出和整個句子向量的網(wǎng)絡(luò)輸出即網(wǎng)絡(luò)前向和后向的最后一個隱層向量；

步驟3：將步驟3得到的循環(huán)神經(jīng)網(wǎng)絡(luò)前向和后向的最后一個隱層向量與循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出拼接成觸發(fā)詞的特征向量，之后輸入到CRF層進行觸發(fā)詞的識別；

步驟4：通過CRF層對觸發(fā)詞的類別進行識別，訓(xùn)練CRF，識別觸發(fā)詞并確定其類別；

步驟5：將步驟4已識別的觸發(fā)詞的特征向量與當前的字向量進行拼接作為事件元素的特征向量，之后輸入到CRF層進行事件元素的識別；

步驟6：通過CRF層對事件元素進行分類識別，訓(xùn)練CRF，識別事件元素并確定其角色信息；

步驟7：將兩個CRF分類器聯(lián)合到一個模型中，為了協(xié)調(diào)不同子任務(wù)的收斂速率，在交叉熵損失函數(shù)的基礎(chǔ)上增加軟約束，在較短的時間內(nèi)完成對模型的訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文事件抽取方法，其特征在于：對于語料庫D中一個長度為n的句子表示為如下形式：

W＝W₁,W₂,...,W_n

其中，W_i表示句子中的第i個字；句子中的每個字采用BIO方式進行標注，W_i對應(yīng)的觸發(fā)詞的標簽為t_i，對應(yīng)的事件元素的標簽為a_i；統(tǒng)一設(shè)置語料庫中的句子長度為n，對于長度大于的句子進行截取，對于長度小于n的句子則用特殊符號pad將其補齊，這里使用0來表示pad；假設(shè)句子總數(shù)為N，則輸入層即為個長度為n的句子集合，用N×n的向量表示。

3.根據(jù)權(quán)利要求1所述的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文事件抽取方法，其特征在于：在句子W的開頭和末尾分別添加[CLS]和[SEP]標識符，對W進行初始編碼，句子中第i個字的初始編碼表示如下：

這里為向量拼接操作，其中表示W(wǎng)_i對應(yīng)的向量編碼，表示W(wǎng)_i的語義編碼，表示W(wǎng)_i的位置編碼，三部分拼接得到W_i的初始編碼E_i；句子W的初始編碼E即為：

E＝E₁,E₂,...,E_n

將由三部分向量組成的初始編碼E輸入到bert模型中，經(jīng)過雙向transformer結(jié)構(gòu)得到最終的向量編碼X：

X＝x₁,x₂,...,x_n

假設(shè)詞嵌入長度為K，則X用N×n×K的向量表示。

4.根據(jù)權(quán)利要求1所述的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文事件抽取方法，其特征在于：所用的循環(huán)神經(jīng)網(wǎng)絡(luò)模型為雙向的LSTM網(wǎng)絡(luò)，將步驟3得到的向量輸入到雙向的LSTM網(wǎng)絡(luò)中進行特征提取；網(wǎng)絡(luò)在t時刻的隱層向量表示如下：

其中，表示LSTM單元在t時刻的前向隱層向量輸出，表示LSTM單元在t時刻的后向隱層向量輸出，h_t表示LSTM單元在t時刻的輸出，是由t時刻的前向和后向隱層向量拼接而成；將步驟3得到的向量編碼X輸入到雙向LSTM網(wǎng)絡(luò)中，設(shè)置網(wǎng)絡(luò)的隱藏狀態(tài)的大小為hidden_dim，則最終h向量的大小為N×n×hidden_dim。