[發明專利]一種基于自適應融合多注意力網絡的問題和答案匹配方法

在審

• 申請號: 202110287825.6
• 申請日: 2021-03-17
• 公開（公告）號: CN112966499A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 楊猛;梁偉日;谷雨
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明提供一種基于自適應融合多注意力網絡的問題和答案匹配方法，包括以下步驟：S1：分別將問題和答案里的每個單詞都轉化為詞向量，并對詞向量進行編碼，得到詞向量序列；S2：使用多個自注意網絡提取一個問題中不同方面的信息，并分別編碼為不同的問題向量；S3：為每個問題向量生成對應的答案向量；S4：計算出匹配度得分，并自適應地融合多個方面信息的匹配度得分，根據融合后的匹配度得分進行問題和答案的匹配。本發明提供一種基于自適應融合多注意力網絡的問題和答案匹配方法，解決了目前使用多個自注意力網絡的模型是通過多輪處理增強對問題和答案的理解，而不是獲得問題和答案的多角度、多方面的信息的問題。

技術領域

本發明涉及自然語言處理技術領域，更具體的，涉及一種基于自適應融合多注意力網絡的問題和答案匹配方法。

背景技術

深度學習具有很強的函數擬合能力，利用深度學習進行答案選擇任務，具有運行速度快便于計算，優于傳統效果等優點。通過精心設計網絡結構，模擬人在進行答案選擇時的思維過程，預期應該可以得到很好的效果。從前人的研究中，我們得知問題表征的學習在答案選擇中有著非常重要的作用。一個好的答案選擇模型，應該要能生成高質量的問題向量和答案向量，并且全面的捕捉問題與答案中的交互關系。實際上很難讓一個簡單的自注意力網絡能夠對所有問題都收集到有用的信息，因為一個雙層前向網絡的擬合能力有限。另外由于其時序特性，訓練起來也比一般的全連接網絡更困難。顯然難以具備對所有問題都適用的收集信息的能力。一個方法是使用多個自注意力網絡，然后強迫每個自注意力網絡各自關注句子中的不同部分。它在訓練時引入一個懲罰項，使得不同的自注意力網絡產生的權值越相似，這個額外的懲罰損失就越大，從而達到強迫關注不同部分的目的。但是，目前使用多個自注意力網絡的模型是通過多輪處理進行的，每輪處理之間存在依賴關系，所以更多的是應該將其理解為通過多輪處理增強對問題和答案的理解，而不是獲得問題和答案的多角度、多方面的信息。

現有技術中，如2018-11-23公開的中國專利，基于交叉注意力神經網絡的答案選擇方法、裝置和電子設備，公開號為CN108875074A，通過注意力機制利用不同候選答案之間的相互信息進行交叉評分以確定問題數據和答案數據之間的相關性，從而提升答案選擇的準確性，但沒有獲得問題和答案的多角度、多方面的信息。

發明內容

本發明為克服目前使用多個自注意力網絡的模型是通過多輪處理增強對問題和答案的理解，而不是獲得問題和答案的多角度、多方面的信息的技術缺陷，提供一種基于自適應融合多注意力網絡的問題和答案匹配方法。

為解決上述技術問題，本發明的技術方案如下：

一種基于自適應融合多注意力網絡的問題和答案匹配方法，包括以下步驟：

S1：分別將問題和答案里的每個單詞都轉化為詞向量，并對問題和答案中的詞向量進行編碼，得到問題和答案的詞向量序列；

S2：根據詞向量序列使用多個自注意網絡提取一個問題中不同方面的信息，并分別編碼為不同的問題向量；

S3：使用序列注意力網絡為每個問題向量生成對應的答案向量；

S4：計算出每個問題向量及其對應的答案向量的匹配度得分，并通過評估出一個問題中每個問題向量的權重以自適應地融合多個方面信息的匹配度得分，根據融合后的匹配度得分進行問題和答案的匹配。

優選的，在步驟S1中，采用雙向LSTM分別對問題和答案中的詞向量進行編碼。

優選的，給定包含l個單詞的句子S＝(w₁,w₂,...,w_l)，利用雙向LSTM編碼詞向量，獲取對應的隱藏層：