[發(fā)明專利]基于多語注意力機(jī)制的事件識別及分類方法及裝置

有效

• 申請?zhí)枺?/td>: 201711463578.0
• 申請日: 2017-12-28
• 公開（公告）號: CN108345583B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 陳玉博;劉康;趙軍;劉健
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩

1.一種基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，包括：

步驟1，將僅標(biāo)注單語事件信息的數(shù)據(jù)映射為多語平行數(shù)據(jù)；

步驟2，將所述多語平行數(shù)據(jù)進(jìn)行詞匯級別對齊，通過多語對齊關(guān)系得到同一事件在多種不同語言中的一致性表示；

步驟3，利用步驟2得到同一事件在多種不同語言中的一致性表示，基于單語注意力模型獲取多語一致性信息；

步驟4，利用步驟2得到同一事件在多種不同語言中的一致性表示，基于多語注意力模型獲取多語互補(bǔ)性信息；

步驟5，基于所述多語一致性信息和所述多語互補(bǔ)性信息進(jìn)行聯(lián)合推理，通過非線性神經(jīng)網(wǎng)絡(luò)判別模型輸出最終的識別結(jié)果；

其中，

所述單語注意力模型為用于學(xué)習(xí)同一事件在不同語言中的一致性表示的帶注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型；

所述多語注意力模型為用于學(xué)習(xí)事件在不同語言中的不同表示的帶注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，所述單語注意力模型，該模型的建模公式為

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

其中，z_t、r_t、分別為輸入門、輸出門和記憶單元；W，U，b是對應(yīng)項的權(quán)值矩陣，σ(x)＝1/(1+exp(-x))，x_t為第t時刻的輸入表示向量。

3.根據(jù)權(quán)利要求2所述的基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，所述單語注意力模型中，其單語注意力權(quán)重為詞匯重要性，句子不同部分的權(quán)重a_i的計算方法為

其中，為候選觸發(fā)詞的轉(zhuǎn)置向量，W_{Att_src}為權(quán)重矩陣，w為縮放系數(shù)，s_i為第i個詞語的表示向量，b_{Att_src}為偏置項，L為句子長度。

4.根據(jù)權(quán)利要求3所述的基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，通過所述單語注意力模型輸出的句子表示為不同部分的帶權(quán)重加和R_src，

5.根據(jù)權(quán)利要求4所述的基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，所述多語注意力模型中多語注意力權(quán)重為不同語言的置信度，目標(biāo)語言的置信度G_cl計算方法為

G_cl＝σ(W_cl[R_src；R_tgt]+b_cl)

其中，W_cl為權(quán)重矩陣，R_tgt為目標(biāo)語的句子表示向量，b_cl為偏置項。

6.根據(jù)權(quán)利要求5所述的基于多語注意力機(jī)制的事件識別及分類方法，其特征在于，所述多語注意力模型輸出的多語的信息融合表示為R_integrated，

R_integrated＝(G_i·R_tgt)+(1+G_i)·R_src

其中，G_i為多語置信度表示向量。