[發明專利]基于多語注意力機制的事件識別及分類方法及裝置

有效

• 申請號: 201711463578.0
• 申請日: 2017-12-28
• 公開（公告）號: CN108345583B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 陳玉博;劉康;趙軍;劉健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

1.一種基于多語注意力機制的事件識別及分類方法，其特征在于，包括：

步驟1，將僅標注單語事件信息的數據映射為多語平行數據；

步驟2，將所述多語平行數據進行詞匯級別對齊，通過多語對齊關系得到同一事件在多種不同語言中的一致性表示；

步驟3，利用步驟2得到同一事件在多種不同語言中的一致性表示，基于單語注意力模型獲取多語一致性信息；

步驟4，利用步驟2得到同一事件在多種不同語言中的一致性表示，基于多語注意力模型獲取多語互補性信息；

步驟5，基于所述多語一致性信息和所述多語互補性信息進行聯合推理，通過非線性神經網絡判別模型輸出最終的識別結果；

其中，

所述單語注意力模型為用于學習同一事件在不同語言中的一致性表示的帶注意力機制的神經網絡模型；

所述多語注意力模型為用于學習事件在不同語言中的不同表示的帶注意力機制的神經網絡模型。

2.根據權利要求1所述的基于多語注意力機制的事件識別及分類方法，其特征在于，所述單語注意力模型，該模型的建模公式為

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

其中，z_t、r_t、分別為輸入門、輸出門和記憶單元；W，U，b是對應項的權值矩陣，σ(x)＝1/(1+exp(-x))，x_t為第t時刻的輸入表示向量。

3.根據權利要求2所述的基于多語注意力機制的事件識別及分類方法，其特征在于，所述單語注意力模型中，其單語注意力權重為詞匯重要性，句子不同部分的權重a_i的計算方法為

其中，為候選觸發詞的轉置向量，W_{Att_src}為權重矩陣，w為縮放系數，s_i為第i個詞語的表示向量，b_{Att_src}為偏置項，L為句子長度。

4.根據權利要求3所述的基于多語注意力機制的事件識別及分類方法，其特征在于，通過所述單語注意力模型輸出的句子表示為不同部分的帶權重加和R_src，

5.根據權利要求4所述的基于多語注意力機制的事件識別及分類方法，其特征在于，所述多語注意力模型中多語注意力權重為不同語言的置信度，目標語言的置信度G_cl計算方法為

G_cl＝σ(W_cl[R_src；R_tgt]+b_cl)

其中，W_cl為權重矩陣，R_tgt為目標語的句子表示向量，b_cl為偏置項。

6.根據權利要求5所述的基于多語注意力機制的事件識別及分類方法，其特征在于，所述多語注意力模型輸出的多語的信息融合表示為R_integrated，

R_integrated＝(G_i·R_tgt)+(1+G_i)·R_src

其中，G_i為多語置信度表示向量。