[發明專利]基于雙向注意力機制的答案選擇方法、裝置和電子設備

在審

• 申請號: 201810619458.3
• 申請日: 2018-06-12
• 公開（公告）號: CN108845990A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 楊鵬
• 申請（專利權）人: 北京慧聞科技發展有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30;G06N3/04;G06N3/08
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰

1.一種基于雙向注意力機制的用于答案選擇的方法，其特征在于，包括：

對獲取的問題數據和答案數據分別進行詞向量轉化，以分別獲得所述問題數據的詞向量表示和所述答案數據的詞向量表示；

通過雙向長短期記憶層分別處理所述問題數據的詞向量表示和所述答案數據的詞向量表示，以分別獲得所述問題數據的隱狀態序列和所述答案數據的隱狀態序列；

以交互層處理所述問題數據的隱狀態序列和所述答案數據的隱狀態序列，以獲得所述問題數據的詞語和所述答案數據的詞語之間的關系矩陣；

通過卷積神經網絡模型處理所述關系矩陣，以獲得所述關系矩陣的特征表示；以及

以用于二元分類的邏輯回歸模型處理所述特征表示，以分別獲得所述答案數據為所述問題數據的正確答案的第一概率值和所述答案數據為所述問題數據的錯誤答案的第二概率值。

2.如權利要求1所述的基于雙向注意力機制的用于答案選擇的方法，其中，在獲得所述第一概率值和所述第二概率值之后進一步包括：

判定所述第一概率值是否大于預定閾值；以及

響應于所述第一概率值大于所述預定閾值，確定所述答案數據為所述問題數據的正確答案。

3.如權利要求2所述的基于雙向注意力機制的用于答案選擇的方法，其中，所述卷積神經網絡模型為稠密卷積神經網絡模型。

4.如權利要求3所述的基于雙向注意力機制的用于答案選擇的方法，其中，獲得所述問題數據的隱狀態序列和所述答案數據的隱狀態序列之間的關系矩陣，包括：

將所述問題數據的隱狀態序列和所述答案數據的隱狀態序列進行向量點乘以獲得所述關系矩陣。

5.如權利要求4所述的基于雙向注意力機制的用于答案選擇的方法，進一步地包括：

計算對應的損失函數以通過反向傳播調整用于答案選擇的系統的網絡參數。

6.如權利要求5所述的基于雙向注意力機制的用于答案選擇的方法，其中，在調整所述用于答案選擇的系統的網絡參數的過程中，針對所述問題數據隨機采樣的多個錯誤答案樣本數據中與所述問題數據相似度得分最高的錯誤答案被設置為所述損失函數的輸入。

7.一種基于雙向注意力機制的用于答案選擇的裝置，包括：

詞向量轉化單元，用于對獲取的問題數據和答案數據分別進行詞向量轉化，以分別獲得所述問題數據的詞向量表示和所述答案數據的詞向量表示；

隱狀態序列提取單元，用于通過雙向長短期記憶層分別處理所述問題數據的詞向量表示和所述答案數據的詞向量表示，以分別獲得所述問題數據的隱狀態序列和所述答案數據的隱狀態序列；

關系矩陣獲取單元，用于處理所述問題數據的隱狀態序列和所述答案數據的隱狀態序列，以獲得所述問題數據的詞語和所述答案數據的詞語之間的關系矩陣；

特征表示提取單元，用于通過卷積神經網絡模型處理所述關系矩陣，以獲得所述關系矩陣的特征表示；以及

答案獲取單元，用于以用于二元分類的邏輯回歸模型處理所述特征表示，以分別獲得所述答案數據為所述問題數據的正確答案的第一概率值和所述答案數據為所述問題數據的錯誤答案的第二概率值。

8.一種電子設備，包括：

處理器；以及

存儲器，在所述存儲器中存儲有計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執行如權利要求1-6中任一項所述的基于雙向注意力機制的用于答案選擇的方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序指令，當所述計算機程序指令被計算裝置執行時，可操作來執行如權利要求1-6中任一項所述的基于雙向注意力機制的用于答案選擇的方法。