[發明專利]利用引入了語義信息的詞向量進行機器閱讀理解的方法

有效

• 申請號: 202010719374.4
• 申請日: 2020-07-23
• 公開（公告）號: CN111966797B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 魏建國;孔維坤
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/36;G06N3/0442;G06N3/045;G06N3/047;G06N3/048
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種利用引入了語義信息的詞向量進行機器閱讀理解的方法，其特征是，步驟如下：

步驟一、嵌入：把機器閱讀理解模型所涉及到的上下文和問題中的詞均使用詞向量表示；

步驟二、使用Retrofitting對詞向量進行微調，得到詞向量表示的上下文序和問題序列，Retrofitting是一種通過鼓勵具有相互關系的詞獲得更相似的向量表示，來利用語義詞典中的關系信息優化向量空間表示的方法，其中，Retrofitting詳細過程為：

假設有V＝{w₁，w₂，...，w_n}為機器閱讀理解數據集詞表，w₁為詞表V中的第1個詞，w₂為詞表V中的第2個詞，依次類推，w_n為詞表V中的第n個詞；

無向圖Ω＝(V，E)為編碼了詞表V中詞與詞之間語義信息的本體，E為詞表V中單詞之間邊的集合，Ω為語義詞典，其形式為無向圖，詞與詞之間的語義信息來自于語義詞典，

詞w_i與詞w_j之間的邊表示詞w_i與詞w_j之間存在語義關系，w_i與w_j為邊集合E中的每一條邊所連接的兩個詞；

q_i代表第i個詞w_i的詞向量，Q是由所有詞的詞向量的集合，

那么，Retrofitting的微調方程定義為：

α_i、β_ij分別為需要訓練的參數，表示w_i未經處的詞向量，q_j表示在語義詞典中與詞w_i有語義關系的詞的詞向量；

Retrofitting過程的損失函數定義為：

α_i、β_ij分別為需要訓練的參數，代表算法在詞向量集合Q上的損失函數；

步驟三、編碼：引入詞匯信息、句法信息，包括關鍵詞是否完全匹配，詞性標簽、實體標簽、問題的類別，分別對上下文和問題序列進行編碼，得到上下文表示和問題表示；

步驟四、基于迭代對編碼后的上下文和問題序列進行交互：引入注意力機制來完成文章級別的自對齊，得到充分感知的上下文表示fully-aware?context?representation；

步驟五、生成答案：從步驟四得到的fully-aware?context?representation中提取答案片段的起始位置和結束位置。

2.如權利要求1所述的利用引入了語義信息的詞向量進行機器閱讀理解的方法，其特征是，詳細步驟如下：

步驟一、嵌入：首先根據所采用的SQuAD(斯坦福大學閱讀理解數據集)數據庫統計出所有上下文和問題中的詞，形成一個詞表V＝{w₁，w₂，...，w_n}，再從Word2Vec和GloVe讀取預訓練的詞向量，Word2Vec是一種由跳字模型或者連續詞袋模型訓練的詞向量集合，GloVe是一種基于全局詞頻統計的詞表征工具，將詞表中的第i個詞w_i逐一映射到V中與之對應的詞向量q_i，得到詞向量的集合Q；

步驟二、使用Retrofitting技術對詞向量進行微調的詳細過程為：

首先按照語義詞典特有的結構讀入語義詞典Ω＝(V，E)，在模型中，使用無向圖來編碼詞表中的詞以及詞與詞之間的關系，如果詞w_i與詞w_j之間存在邊那么詞w_i與詞w_j之間存在著某種語義關系；

讀入語義詞典資源以后，按照Retrofitting的微調公式：

將知識信息引入到詞向量中來，其中表示w_i未經處的詞向量，q_j表示在語義詞典中與詞w_i有語義關系的詞的詞向量；

通過最小化損失函數：

來訓練Retrofitting；

步驟三、編碼的詳細過程為：

經過Retrofitting處理后，得到用改進的詞向量表示的問題序列和上下文序列W^C代表用詞向量表示的上下文序列，是該序列中的第1個詞，是該序列中的第m個詞，W^Q代表用詞向量表示的問題序列，是該序列中的第1個詞，是該序列中的第n個詞，在加入詞性標注POS嵌入和命名實體識別結果NER嵌入特征之后，分別得到問題和上下文的中間結果和使用共享權重的雙向長短期記憶網絡序列中的每個詞其進行建模：

BiLSTM為雙向長短期記憶網絡，v_i為問題中第i個詞經過BiLSTM的處理結果，u_j為上下文中第j個詞經過BiLSTM的處理結果；

得到編碼后的上下文序列V和問題序列U，分別為：

步驟四、基于迭代對編碼后的上下文和問題序列進行交互步驟包括三部分，分別是交互式上下文-問題對齊器、上下文自對齊器和用于建模上下文表示的證據收集器，其中：

上下文-問題對齊器是利用：

E_ij＝f(v_i，u_j)＝relu(W_uu)^Trelu(W_uu)

E_ij為上下文對齊結果，f(v_i，u_j)代表v_i、u_j的對齊函數，relu代表線性整流單元，計算得到相似度矩陣為維度為n和m的二維空間，用于計算基于注意力的問題向量softmax為歸一化指數函數，E_：j為相似度矩陣E的第j列，采用啟發式的融合函數o＝fusion(x，y)將注意力信息高效地融合到上下文中，o＝fusion(x，y)通過以下步驟實現：

sigmoid為神經網絡激活函數，o為融合了注意力信息的上下文表示，g均為中間處理結果，利用該函數，對進行處理：

從而得到問題相關的上下文表示：

H＝[h₁，h₂，...，h_m]

利用公式

B_ij＝1_{i≠j}f(h_i，h_j)

計算得到相似度矩陣用于計算基于注意力的上下文表示：

h_j＝H·softmax(B_：j)

再利用融合函數得到基于自注意力的上下文表示：

Z＝[z₁，z₂，...，z_m]

最后，利用一個雙向長短期記憶網絡來做證據收集：

R＝[r₁，r₂，...，r_m]＝BiLSTM(Z)

為了增強捕獲上下文與問題之間復雜交互的能力，使用再注意力機制來完成上下文和問題之間的迭代對齊：

R¹，Z¹，E¹，B¹＝align¹(U，V)

R²，Z²，E²，B²＝align²(R¹，V，E¹，B¹)

R³，Z³，E³，B³＝align³(R²，V，E²，B²，Z¹，Z²)

align¹、align²、align³分別為第一、第二、第三步的對齊函數；最終的完全感知的上下文向量R³是通過在最后的雙向長短期記憶網絡中添加一個殘差連接得到的：

步驟五、生成答案：

使用指針網絡的變體來實現答案生成，將問題表示V總結成固定長度的摘要向量s：

再通過下式分別計算答案在上下文中的起始位置p_start(i)和相應大的結束位置p_end(j|i)：