[發明專利]建立閱讀理解模型的方法、閱讀理解方法及對應裝置

在審

• 申請號: 202110368225.2
• 申請日: 2021-04-06
• 公開（公告）號: CN113204611A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 呂考考;周媛媛;楊茵淇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/216;G06F40/30
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

本公開公開了建立閱讀理解模型的方法、閱讀理解方法及對應裝置，涉及自然語言處理和深度學習等人工智能技術。獲取訓練樣本，訓練樣本包括問題樣本、段落樣本以及對段落樣本中標注的問題樣本對應的答案標簽；利用訓練樣本訓練閱讀理解模型，其中，將同一訓練樣本中的問題樣本和段落樣本進行拼接后得到的拼接文本輸入預訓練子模型，由預訓練子模型輸出拼接文本中各元素的隱向量構成的隱向量序列；第一分類子模型利用隱向量序列，輸出答案在段落樣本中的位置區間信息；第二分類子模型利用隱向量序列，基于自注意力機制得到語義交互向量序列，并利用語義交互向量序列輸出段落樣本中答案所在句的信息。本公開自動、高效地實現了對段落的閱讀理解。

技術領域

本公開涉及計算機應用技術領域，尤其涉及自然語言處理和深度學習等人工智能技術。

背景技術

近年來深度學習技術快速發展，并已在圖像識別、語音識別等領域超越了人類水平。作為人工智能核心技術之一的自然語言處理(Natural Language Processing,NLP)也是當下研究最熱的一個領域。機器閱讀理解(Machine Reading Comprehension,MRC)是一種利用算法使計算機理解段落語義并回答相關問題的技術。由于段落和問題均采用人類語言的形式，因此機器閱讀理解屬于自然語言處理的范疇，也是其中最新最熱門的研究課題之一。

隨著各行各業文本數據的大量產生，傳統的人工處理方式因為處理速度慢，開銷巨大等因素成為產業發展的瓶頸。因此，自動、高效的機器閱讀理解技術成為相關產業內的重要需求。

發明內容

本公開提供了一種建立閱讀理解模型的方法、閱讀理解方法及對應裝置，以便于自動、高效地實現對文本段落的閱讀理解。

根據本公開的第一方面，提供了一種建立閱讀理解模型的方法，包括：

獲取訓練樣本，每一個訓練樣本包括問題樣本、段落樣本以及對所述段落樣本中標注的所述問題樣本對應的答案標簽；

利用所述訓練樣本訓練閱讀理解模型，所述閱讀理解模型包括預訓練子模型、第一分類子模型和第二分類子模型；

其中，將同一訓練樣本中的問題樣本和段落樣本進行拼接后得到的拼接文本輸入所述預訓練子模型，由所述預訓練子模型輸出所述拼接文本中各Token的隱向量構成的隱向量序列；所述第一分類子模型利用所述隱向量序列，輸出所述答案在所述段落樣本中的位置區間信息；所述第二分類子模型利用所述隱向量序列，基于自注意力機制得到語義交互向量序列，并利用所述語義交互向量序列輸出所述段落樣本中答案所在句的信息；

訓練目標為最小化所述第一分類子模型和所述第二分類子模型的輸出與所述答案標簽之間的差異。

根據本公開的第二方面，提供了一種閱讀理解方法，包括：

將問題和段落進行拼接后得到的拼接文本輸入閱讀理解模型，根據所述閱讀理解模型的輸出從所述段落中確定答案；

其中，所述閱讀理解模型包括預訓練子模型、第一分類子模型和第二分類子模型；

所述預訓練子模型利用所述拼接文本，輸出所述拼接文本中各元素Token的隱向量構成的隱向量序列；所述第一分類子模型利用所述隱向量序列，輸出答案在所述段落中的位置區間信息；所述第二分類子模型利用所述隱向量序列，基于自注意力機制得到語義交互向量序列，并利用所述語義交互向量序列輸出所述段落中答案所在句的信息。

根據本公開的第三方面，提供了一種建立閱讀理解模型的裝置，包括：

樣本獲取單元，用于獲取訓練樣本，每一個訓練樣本包括問題樣本、段落樣本以及對所述段落樣本中標注的所述問題樣本對應的答案標簽；