[發(fā)明專利]一種基于自訓(xùn)練與噪聲模型的因果事件抽取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010397785.6
• 申請(qǐng)日: 2020-05-12
• 公開（公告）號(hào): CN111651983B
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 丁效;劉挺;秦兵;廖闊
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

1.一種基于自訓(xùn)練與噪聲模型的因果事件抽取方法，其特征在于：所述方法具體過程為：

步驟一、收集已標(biāo)注的目標(biāo)領(lǐng)域文本，或?qū)δ繕?biāo)領(lǐng)域的無標(biāo)注文本進(jìn)行標(biāo)注，標(biāo)注出因果事件對(duì)，標(biāo)注時(shí)，采用序列標(biāo)注任務(wù)的標(biāo)注方法，為文本中每個(gè)單詞標(biāo)記一個(gè)標(biāo)簽，表示該單詞屬于原因事件、結(jié)果事件或其他成分；

步驟二、先用已有的分詞工具對(duì)步驟一中有標(biāo)注文本進(jìn)行分詞，使用一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為分詞后有標(biāo)注文本中的單詞計(jì)算一個(gè)向量表示；

步驟三、使用條件隨機(jī)場模型，由步驟二中的向量表示計(jì)算出概率最大的標(biāo)簽序列；

步驟四、利用步驟一中已標(biāo)注的目標(biāo)領(lǐng)域文本或?qū)δ繕?biāo)領(lǐng)域的無標(biāo)注文本進(jìn)行標(biāo)注的文本數(shù)據(jù)訓(xùn)練步驟三中的條件隨機(jī)場模型，并對(duì)步驟二中的模型進(jìn)行微調(diào)；

所述步驟二中的模型為預(yù)訓(xùn)練詞向量矩陣和神經(jīng)網(wǎng)絡(luò)模型；

步驟五、搜集同領(lǐng)域大量無標(biāo)注文本數(shù)據(jù)，先用已有的分詞工具對(duì)搜集的同領(lǐng)域大量無標(biāo)注文本數(shù)據(jù)進(jìn)行分詞，得到自標(biāo)注文本分詞后的單詞序列，利用步驟四中訓(xùn)練好的模型對(duì)同領(lǐng)域大量無標(biāo)注詞語進(jìn)行標(biāo)注，得到大量自標(biāo)注數(shù)據(jù)；

所述步驟四中訓(xùn)練好的模型為訓(xùn)練好的步驟二中預(yù)訓(xùn)練詞向量矩陣、神經(jīng)網(wǎng)絡(luò)模型，以及步驟三中的條件隨機(jī)場模型的整體；

步驟六、對(duì)步驟五中自標(biāo)注文本分詞后的單詞序列，使用步驟四中訓(xùn)練好的詞向量矩陣、神經(jīng)網(wǎng)絡(luò)模型為每個(gè)單詞w_i計(jì)算一個(gè)向量表示并使用步驟四中訓(xùn)練好的的條件隨機(jī)場模型計(jì)算單詞序列生成每個(gè)可能的標(biāo)簽序列的概率；

步驟七、使用全連接神經(jīng)網(wǎng)絡(luò)，由步驟六中單詞的向量表示計(jì)算自標(biāo)注文本中每個(gè)單詞的噪聲矩陣；

步驟八、使用另一個(gè)條件隨機(jī)場計(jì)算任意標(biāo)簽序列經(jīng)過噪聲信道得到自標(biāo)注標(biāo)簽序列的概率，并乘以步驟六中由單詞序列生成任意標(biāo)簽序列的概率，得到考慮噪聲信道情況下由單詞序列生成自標(biāo)注標(biāo)簽序列的概率；

步驟九、使用步驟一中有標(biāo)注數(shù)據(jù)與步驟五中自標(biāo)注數(shù)據(jù)共同訓(xùn)練步驟二、三、七、八中的整體模型；

所述步驟二、三、七、八中的整體模型為包括步驟二中的模型、步驟三中的模型、步驟七中的模型和步驟八中的模型的整體；

步驟二中的模型為預(yù)訓(xùn)練詞向量矩陣、神經(jīng)網(wǎng)絡(luò)模型；

步驟三中的模型為條件隨機(jī)場模型；

步驟七中的模型為神經(jīng)網(wǎng)絡(luò)模型；

步驟八中的模型為另一個(gè)條件隨機(jī)場模型。

2.根據(jù)權(quán)利要求1所述一種基于自訓(xùn)練與噪聲模型的因果事件抽取方法，其特征在于：所述步驟一中序列標(biāo)注任務(wù)的標(biāo)注方法為采用BIO或BIOES標(biāo)注規(guī)范。

3.根據(jù)權(quán)利要求1或2所述一種基于自訓(xùn)練與噪聲模型的因果事件抽取方法，其特征在于：所述步驟二中先用已有的分詞工具對(duì)步驟一中有標(biāo)注文本進(jìn)行分詞，使用一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為分詞后有標(biāo)注文本中的單詞計(jì)算一個(gè)向量表示；具體過程為：

從預(yù)訓(xùn)練的詞向量矩陣中查找到分詞后有標(biāo)注文本中的每個(gè)單詞對(duì)應(yīng)的詞向量，并將分詞后有標(biāo)注文本中的每個(gè)單詞對(duì)應(yīng)的詞向量輸入一個(gè)神經(jīng)網(wǎng)絡(luò)得到每個(gè)單詞融合上下文信息的向量表示；

所述神經(jīng)網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)、長短時(shí)記憶網(wǎng)絡(luò)或基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)；

具體過程為：

先用已有的分詞工具對(duì)步驟一中有標(biāo)注文本進(jìn)行分詞，對(duì)于步驟一中有標(biāo)注文本進(jìn)行分詞后的具有n個(gè)單詞{w₁,...,w_i,...,w_n}的文本s，從預(yù)訓(xùn)練的詞向量矩陣中查找到分詞后有標(biāo)注文本中的每個(gè)單詞對(duì)應(yīng)的詞向量{e₁,...,e_i,...e_n}，之后，使用深度神經(jīng)網(wǎng)絡(luò)計(jì)算出每個(gè)單詞考慮上下文信息的向量表示{h₁,...,h_i,...h_n}，其中h_n＝F(e₁,...,e_i,...e_n)，函數(shù)F為BERT深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。