[發(fā)明專(zhuān)利]一種中文事件觸發(fā)詞抽取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110647875.0
• 申請(qǐng)日: 2021-06-10
• 公開(kāi)（公告）號(hào): CN113468884B
• 公開(kāi)（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 楊昊;趙剛;王興芬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京信息科技大學(xué)
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F40/211;G06F40/30;G06F40/216;G06N3/045;G06N3/0442
• 代理公司: 北京天方智力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11719
• 代理人: 路遠(yuǎn)

1.一種中文事件觸發(fā)詞抽取方法，其特征在于，包括以下步驟：

對(duì)輸入文本進(jìn)行全分詞、依存句法分析，提取依存句法分析中未出現(xiàn)的單詞的所有義原；

對(duì)提取的字符、單詞、義原進(jìn)行初始向量化，利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BiLSTM對(duì)每個(gè)句子中的字符進(jìn)行訓(xùn)練，得到每個(gè)字符能夠記憶其句中前后字符特征的向量表征；

將BiLSTM的輸出輸入到節(jié)點(diǎn)注意力網(wǎng)絡(luò)，有側(cè)重地捕捉與當(dāng)前節(jié)點(diǎn)同一類(lèi)型鄰居節(jié)點(diǎn)的特征，將節(jié)點(diǎn)注意力網(wǎng)絡(luò)的輸出輸入到類(lèi)型注意力網(wǎng)絡(luò)，有側(cè)重地捕捉與當(dāng)前節(jié)點(diǎn)不同類(lèi)型鄰居節(jié)點(diǎn)的特征；節(jié)點(diǎn)類(lèi)型包括字符節(jié)點(diǎn)、單詞節(jié)點(diǎn)和義原節(jié)點(diǎn)；

將類(lèi)型注意力網(wǎng)絡(luò)的輸出輸入到一個(gè)條件隨機(jī)場(chǎng)，輸出標(biāo)注序列，實(shí)現(xiàn)觸發(fā)詞的抽取；

節(jié)點(diǎn)注意力網(wǎng)絡(luò)的輸出為：

e_ij＝LeakyReLU(v^τ[W_τh_i,W_τh_j])

式中，為節(jié)點(diǎn)注意力網(wǎng)絡(luò)第i個(gè)節(jié)點(diǎn)的輸出向量，σ、LeakyReLU為激勵(lì)函數(shù)，N_τ,i表示與第i個(gè)節(jié)點(diǎn)即當(dāng)前節(jié)點(diǎn)相鄰的τ類(lèi)型節(jié)點(diǎn)的集合，W_τ為τ類(lèi)型節(jié)點(diǎn)的維度變換矩陣，a_ij為第j個(gè)節(jié)點(diǎn)輸入向量h_j的權(quán)重，e_ij為第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)的相似度，v^τ為τ類(lèi)型節(jié)點(diǎn)的權(quán)重矩陣，h_i為第i個(gè)節(jié)點(diǎn)輸入向量；

對(duì)包括節(jié)點(diǎn)注意力網(wǎng)絡(luò)和類(lèi)型注意力網(wǎng)絡(luò)的異構(gòu)圖注意力網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，基于maskattention機(jī)制依次實(shí)現(xiàn)以下4個(gè)步驟的網(wǎng)絡(luò)特征傳播：

V_C→V_W：

V_W→V_S：

V_S→V_W：

V_W→V_C：

其中，V_c、V_w、V_s分別為字符節(jié)點(diǎn)，單詞節(jié)點(diǎn)和義原節(jié)點(diǎn)；HGAT表示異構(gòu)圖注意力網(wǎng)絡(luò)，GAT表示節(jié)點(diǎn)注意力網(wǎng)絡(luò)，H_c、H_w、H_s分別為字符節(jié)點(diǎn)、單詞節(jié)點(diǎn)和義原節(jié)點(diǎn)的矩陣表示，其上標(biāo)為更新次數(shù)，初始矩陣為

網(wǎng)絡(luò)特征傳播采用端到端的訓(xùn)練方法，每一步傳播過(guò)程采用殘差連接方式解決梯度消失問(wèn)題，即其中，h′、h_i分別為當(dāng)前傳播步驟的輸出和輸入，為下一傳播步驟的輸入。

2.根據(jù)權(quán)利要求1所述的中文事件觸發(fā)詞抽取方法，其特征在于，類(lèi)型注意力網(wǎng)絡(luò)的輸出為：

式中，h_i′為類(lèi)型注意力網(wǎng)絡(luò)第i個(gè)節(jié)點(diǎn)的輸出向量，β_i,τ為的權(quán)重，m_i,τ為τ類(lèi)型節(jié)點(diǎn)對(duì)輸出向量的貢獻(xiàn)程度，C_i為第i個(gè)節(jié)點(diǎn)鄰居節(jié)點(diǎn)類(lèi)型的集合，|C_i|為C_i的元素個(gè)數(shù)，q為注意力向量，tanh為激勵(lì)函數(shù)，W、b分別為權(quán)重和偏置矩陣。

3.根據(jù)權(quán)利要求1所述的中文事件觸發(fā)詞抽取方法，其特征在于，條件隨機(jī)場(chǎng)的損失函數(shù)為：

Loss＝-log₁₀(p(Y|X))

式中，Loss為損失函數(shù)，X＝{x₁,x₂...,x_n}、Y＝{y₁,y₂…,y_n}分別為輸入和輸出序列，p(Y|X)為X序列被標(biāo)記為Y序列的概率，S(X,Y)為得分函數(shù)，為標(biāo)注集合，Y′為任意一個(gè)標(biāo)注，為初始轉(zhuǎn)移得分，為結(jié)尾轉(zhuǎn)移得分，為由y_i-1轉(zhuǎn)移到y(tǒng)_i的得分，為x_i標(biāo)記為y_i的得分，W_s、b_s分別為權(quán)重和偏置矩陣。