[發明專利]一種基于序列生成模型的多事件檢測方法有效

申請號：	202011496007.9	申請日：	2020-12-17
公開（公告）號：	CN112612871B	公開（公告）日：	2023-09-15
發明（設計）人：	莊越挺;邵健;呂夢瑤;宗暢	申請（專利權）人：	浙江大學
主分類號：	G06F16/33	分類號：	G06F16/33;G06F16/35;G06F40/289;G06N3/0442;G06N3/0455;G06N3/08
代理公司：	杭州求是專利事務所有限公司 33200	代理人：	傅朝棟;張法高
地址：	310058 浙江***	國省代碼：	浙江;33
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于序列生成模型多事檢測方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于序列生成模型的多事件檢測方法，其特征在于，具體步驟如下：

S1：獲取事件文本語料后，對文本進行預處理，然后使用序列化文本標注方法對事件文本中的事件類別進行標注；

S2：構建基于序列生成框架的多事件檢測模型；

S21：將事件文本輸入模型的輸入層，將詞轉化為向量形式，并編碼實體及詞性特征，具體如S211～S213所示：

S211：使用詞嵌入模塊將輸入文本的每個詞轉化為向量形式；

S212：對文本中每個詞對應的實體和詞性類別進行編碼，生成實體詞性特征向量；

S213：將S211中得到的詞向量和S212中詞對應的實體詞性特征向量拼接起來，共同組成維度為k的組合向量；將一條文本中所有詞的組合向量全部拼接得到的文本特征向量表示為x_1：n＝[x₁，x₂，...，x_n]，其中n表示文本中詞的個數，x_i表示文本中的第i個詞，i∈[1，n]；

S22：使用包含雙向LSTM神經網絡模型的編碼器進行編碼，具體如S221～S222所示：

S221：將S21得到的文本特征向量作為輸入數據，傳入編碼器；

S222：編碼器中的雙向LSTM深度神經網絡對輸入數據進行編碼，編碼后整個句子得到的編碼器隱藏狀態表示為h_1：n＝(h₁，h₂，...，h_n)，其中每個h_i由前向LSTM和后向LSTM的輸出拼接而成；

S23：使用注意力計算器計算每一個解碼時間步輸入文本的注意力特征，得到文本注意力特征向量和記憶向量，具體如S231～S235所示：

S231：設解碼器每個時間步的隱藏狀態為s_t，并用S222中編碼器最后一步得到的隱藏狀態h_n作為解碼器隱藏狀態的初始值s₀；隨機初始化一個長度等于輸入文本長度的記憶向量r_t，后續用于累計所有時間步下每個輸入詞的注意力權重疊加，從而在后續計算注意力權重時提供先前的注意力決策，以避免對原文中某些詞的重復關注而生成重復的序列；

S232：在解碼的每個時間步t，計算輸入文本中每個位置i與該時間步t的關聯向量e_t，i：

e_t，i＝v^Ttanh(W_hh_i+W_ss_t+W_rr_t，i+b_e)

其中v，W_h，W_s，W_r，b_e是可以訓練的參數；該時間步t的輸出位置與每個輸入文本位置的關聯向量組合表示為向量e_t＝[e_t，1，e_t，2，...，e_t，n]；

S233：根據S232得到的關聯向量e_t計算當前時間步t下輸入文本每個詞的注意力特征權重a_t＝[a_t，1，a_t，2，...，a_t，n]：

a_t＝softmax(e_t)

S234：累計當前時間步t之前的所有時間步下每個輸入文本位置的注意力權重a_t，用于更新當前時間步下的記憶向量r_t，計算公式如下：

S235：利用S233生成的注意力權重a_t和S222生成的隱藏向量h_i計算當前時間步t下的文本注意力特征向量c_t：

S24：使用解碼器中的單向LSTM開始解碼，每一步對隱藏狀態進行更新，并計算得到該步輸出詞的概率分布，具體如S241～S243所示：

S241：使用解碼器中的單向LSTM網絡解碼，設LSTM單元在時間步t的輸出為y_t，隱藏狀態為s_t；在每一時間步t，使用S211中的詞嵌入模塊，查找上一時間步的輸出詞序號y_t-1所對應的詞向量g_t-1；

S242：每一時間步t，使用上一時間步的隱藏狀態s_t-1，并將上一時間步輸出對應的詞向量g_t-1和S235中得到的文本注意力特征向量c_t拼接起來作為LSTM單元的輸入，從而更新當前時間步的隱藏狀態：

s_t＝LSTM(s_t-1，[g_t-1，c_t])

并且計算得到解碼器的輸出：