[發明專利]建立閱讀理解模型的方法、閱讀理解方法及對應裝置

在審

• 申請號: 202110368225.2
• 申請日: 2021-04-06
• 公開（公告）號: CN113204611A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 呂考考;周媛媛;楊茵淇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/216;G06F40/30
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種建立閱讀理解模型的方法，包括：

獲取訓練樣本，每一個訓練樣本包括問題樣本、段落樣本以及對所述段落樣本中標注的所述問題樣本對應的答案標簽；

利用所述訓練樣本訓練閱讀理解模型，所述閱讀理解模型包括預訓練子模型、第一分類子模型和第二分類子模型；

其中，將同一訓練樣本中的問題樣本和段落樣本進行拼接后得到的拼接文本輸入所述預訓練子模型，由所述預訓練子模型輸出所述拼接文本中各Token的隱向量構成的隱向量序列；所述第一分類子模型利用所述隱向量序列，輸出所述答案在所述段落樣本中的位置區間信息；所述第二分類子模型利用所述隱向量序列，基于自注意力機制得到語義交互向量序列，并利用所述語義交互向量序列輸出所述段落樣本中答案所在句的信息；

訓練目標為最小化所述第一分類子模型和所述第二分類子模型的輸出與所述答案標簽之間的差異。

2.根據權利要求1所述的方法，其中，所述輸出所述答案在所述段落樣本中的位置區間信息包括：

將所述隱向量序列經過全連接網絡的映射，得到所述段落樣本中的各Token是答案邊界位置的概率。

3.根據權利要求1所述的方法，其中，所述基于自注意力機制得到語義交互向量序列包括：

構建約束矩陣，所述約束矩陣體現出問題樣本與段落樣本中答案所在句的注意力交互特征；

利用構建的約束矩陣，對所述拼接文本中各Token的隱向量進行自注意力處理，得到所述語義交互向量序列。

4.根據權利要求1或3所述的方法，其中，所述利用所述語義交互向量序列輸出所述段落樣本中答案所在句的信息包括：

將所述語義交互向量序列進行全連接網絡的映射，得到所述段落樣本中各Token屬于答案所在句的概率。

5.根據權利要求1至3中任一項所述的方法，其中，在訓練所述閱讀理解模型的過程中，利用總損失函數的值更新所述第一分類子模型和第二分類子模型的模型參數；

所述總損失函數由第一損失函數和第二損失函數得到，所述第一損失函數由第一分類子模型的輸出與所述答案標簽之間的差異得到，所述第二損失函數由第二分類子模型的輸出與所述答案標簽之間的差異得到。

6.一種閱讀理解方法，包括：

將問題和段落進行拼接后得到的拼接文本輸入閱讀理解模型，根據所述閱讀理解模型的輸出從所述段落中確定答案；

其中，所述閱讀理解模型包括預訓練子模型、第一分類子模型和第二分類子模型；

所述預訓練子模型利用所述拼接文本，輸出所述拼接文本中各元素Token的隱向量構成的隱向量序列；所述第一分類子模型利用所述隱向量序列，輸出答案在所述段落中的位置區間信息；所述第二分類子模型利用所述隱向量序列，基于自注意力機制得到語義交互向量序列，并利用所述語義交互向量序列輸出所述段落中答案所在句的信息。

7.根據權利要求6所述的方法，其中，所述輸出所述答案在所述段落樣本中的位置區間信息包括：將所述隱向量序列經過全連接網絡的映射，得到所述段落中的各Token是答案邊界位置的概率；

所述利用所述語義交互向量序列輸出所述段落中答案所在句的信息包括：將所述語義交互向量序列進行全連接網絡的映射，得到所述段落中各Token屬于答案所在句的概率。

8.根據權利要求7所述的方法，其中，所述根據所述閱讀理解模型的輸出從所述段落中確定答案包括：

對各Token是答案邊界位置的概率以及屬于答案所在句的概率進行整合，得到各Token整合后的答案邊界位置的概率；

依據各Token整合后的答案邊界位置的概率，確定作為答案邊界的Token；

將所述段落中作為答案邊界的Token以及作為答案邊界的Token之間的Token確定為所述問題的答案。