[發明專利]一種基于自適應融合多注意力網絡的問題和答案匹配方法

在審

• 申請號: 202110287825.6
• 申請日: 2021-03-17
• 公開（公告）號: CN112966499A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 楊猛;梁偉日;谷雨
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，包括以下步驟：

S1：分別將問題和答案里的每個單詞都轉化為詞向量，并對問題和答案中的詞向量進行編碼，得到問題和答案的詞向量序列；

S2：根據詞向量序列使用多個自注意網絡提取一個問題中不同方面的信息，并分別編碼為不同的問題向量；

S3：使用序列注意力網絡為每個問題向量生成對應的答案向量；

S4：計算出每個問題向量及其對應的答案向量的匹配度得分，并通過評估出一個問題中每個問題向量的權重以自適應地融合多個方面信息的匹配度得分，根據融合后的匹配度得分進行問題和答案的匹配。

2.根據權利要求1所述的一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，在步驟S1中，采用雙向LSTM分別對問題和答案中的詞向量進行編碼。

3.根據權利要求2所述的一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，給定包含l個單詞的句子S＝(w₁,w₂,...,w_l)，利用雙向LSTM編碼詞向量，獲取對應的隱藏層：

當給定的句子S為問題時，則得到問題中每個詞向量的隱藏層向量序列H_q＝{h_q(1),...,h_q(l)}，將H_q＝{h_q(1),...,h_q(l)}作為問題的詞向量序列；

當給定的句子S為答案時，則得到答案中每個詞向量的隱藏層向量序列H_a＝{h_a(1),...,h_a(l)}，將H_a＝{h_a(1),...,h_a(l)}作為答案的詞向量序列；

其中，w₁,w₂,...,w_l分別為句子S中的l個單詞，為前向LSTM的在t時刻的隱層狀態，表示前向LSTM的編碼過程，為前向LSTM的在t-1時刻的隱層狀態，w_t是t時刻輸入LSTM進行編碼的的單詞向量，為后向LSTM的在t時刻的隱層狀態，表示后向LSTM編碼的編碼過程，為后向LSTM的在t-1時刻的狀態，h_t是雙向LSTM的最終編碼結果，h_q(1),...,h_q(l)分別為問題中的l個詞向量，h_a(1),...,h_a(l)分別為答案中的l個詞向量。

4.根據權利要求3所述的一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，在步驟S2中，第k個自注意力網絡通過以下公式計算得到問題向量且每個不同的問題向量都提取了問題不同方面的信息：

其中，為第k個自注意力網絡從原始的問題向量h_q(t)中提取得到的注意力向量，和均為第k個自注意網絡的參數，為詞向量的權重。

5.根據權利要求1所述的一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，步驟S3包括以下步驟：

S3.1：獲取答案中每個詞向量的隱藏層向量序列H_a＝{h_a(1),...,h_a(l)}；

S3.2：對于第k個問題向量通過將同一個序列注意力模型應用到H_a上，生成對應的第k個答案詞向量的權重

S3.3：計算H_a的加權和作為第k個答案向量

6.根據權利要求5所述的一種基于自適應融合多注意力網絡的問題和答案匹配方法，其特征在于，在序列注意力模型中，使用LSTM計算每個答案詞向量的權重。