[發明專利]機器閱讀理解方法、裝置、電子設備及計算機存儲介質

在審

• 申請號: 202010955175.3
• 申請日: 2020-09-11
• 公開（公告）號: CN112183085A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 嵇望;安毫億;王偉凱;錢艷;朱鵬飛;梁青
• 申請（專利權）人: 杭州遠傳新業科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F40/30;G06F40/205;G06F40/151;G06F40/126;G06F16/332;G06N3/04;G06N3/08
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

本發明涉及一種機器閱讀理解方法、裝置、設備和介質，其中，該機器閱讀理解方法包括：接收問題和文章，將該問題通過編碼層計算轉換為問題向量，將該文章通過該編碼層計算轉換為文章向量，將該問題向量和該文章向量通過多重注意力層進行計算得到交互信息向量，其中，該多重注意力層包括訓練好的自注意力模型和多個注意力匹配模型，將該文章通過訓練好的BTM主題模型進行計算得到主題詞語，將該主題詞語進行編碼得到主題特征向量，將該交互信息向量和該主題特征向量通過非線性輸出層進行計算，得到與該問題相關的答案。通過本申請，解決了使用單一的單詞匹配方法進行機器閱讀理解存在答案的準確度低的問題，提高了機器閱讀理解答案的準確度。

技術領域

本發明涉及自然語言處理領域，尤其涉及一種機器閱讀理解方法、裝置、電子設備及計算機存儲介質。

背景技術

機器閱讀理解是一種利用算法使計算機理解文章語義并回答相關問題的技術。在相關技術中，通過使用一種單詞匹配方法，將問題與文章中的單詞進行匹配，進而從文章中獲得與問題相關的答案，但是這種單一的單詞匹配方法，使得問題與文章中的單詞之間的交互信息過于簡單，導致獲得的答案與問題并不相關，造成答案的準確度低。

針對相關技術中，使用單一的單詞匹配方法進行機器閱讀理解存在答案的準確度低的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種機器閱讀理解方法、裝置、電子設備和計算機存儲介質，以至少解決相關技術中使用單一的單詞匹配方法進行機器閱讀理解存在答案的準確度低的問題。

第一方面，本申請實施例提供了一種機器閱讀理解方法，所述方法包括：

接收問題和文章，將所述問題通過編碼層計算轉換為問題向量，將所述文章通過所述編碼層計算轉換為文章向量；

將所述問題向量和所述文章向量通過多重注意力層進行計算得到交互信息向量，其中，所述多重注意力層包括訓練好的自注意力模型和多個注意力匹配模型；

將所述文章通過訓練好的BTM主題模型進行計算得到主題詞語，將所述主題詞語進行編碼得到主題特征向量；

將所述交互信息向量和所述主題特征向量通過非線性輸出層進行計算，得到與所述問題相關的答案。

在其中一些實施例中，所述編碼層包括BERT模型和預設的門控空洞卷積層，所述將所述問題通過編碼層計算轉換為問題向量包括：

將所述問題基于所述BERT模型進行學習得到所述問題中各單字的第一詞向量，并由各所述單字的第一詞向量組成第一中間向量；

將所述第一中間向量通過所述門控空洞卷積層進行計算，得到所述問題向量；

所述將所述文章通過所述編碼層計算轉換為文章向量包括：

將所述文章基于所述BERT模型進行學習得到所述文章中各單字的第二詞向量，并由各所述單字的第二詞向量組成第二中間向量；

將所述第二中間向量通過所述門控空洞卷積層進行計算，得到所述文章向量。

在其中一些實施例中，所述門控空洞卷積層包括多層依次相連的空洞卷積門控單元，每個所述空洞卷積門控單元用于對輸入向量進行間隔采樣得到輸出向量，并將所述輸出向量作為下一層空洞卷積門控單元的輸入向量。

在其中一些實施例中，在多個所述注意力匹配模型包括點積注意力模型和基于Concat的注意力模型的情況下，所述將所述問題向量和所述文章向量通過多重注意力層進行計算得到交互信息向量包括：

將所述問題向量和所述文章向量通過訓練好的點積注意力模型進行計算，得到第一向量和第二向量，其中，所述第一向量為所述問題關于所述文章的點積注意力向量，所述第二向量為所述文章關于所述問題的點積注意力向量；