[發明專利]訓練機器閱讀模型的方法和裝置

在審

• 申請號: 202010566073.2
• 申請日: 2020-06-19
• 公開（公告）號: CN111460127A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 蔣亮;溫海嬌;溫祖杰;吳玲
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/169;G06F40/205;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 孫欣欣;周良玉

1.一種訓練機器閱讀模型的方法，所述機器閱讀模型用于根據問題和文檔，預測問題在文檔中的答案，所述方法包括：

獲取第一文檔和第一問題集合；

針對所述第一問題集合中的第一問題，將所述第一問題和所述第一文檔輸入機器閱讀模型，得到所述第一問題在所述第一文檔中的第一答案；

將所述第一答案和所述第一文檔輸入問題生成模型，得到所述第一答案對應的第二問題；其中，所述機器閱讀模型和所述問題生成模型互為對偶模型；

根據所述第一問題和所述第二問題的差異，確定第一預測損失；

以最小化所述第一預測損失為訓練目標，執行對所述機器閱讀模型和所述問題生成模型的第一訓練。

2.如權利要求1所述的方法，其中，所述第一文檔和所述第一問題集合分別為目標領域的文檔和問題集合；所述機器閱讀模型和所述問題生成模型基于源領域的樣本初步訓練。

3.如權利要求2所述的方法，其中，所述機器閱讀模型為利用源領域的有標簽的第一訓練樣本初步訓練后得到的，所述第一訓練樣本的樣本輸入包括問題和文檔，所述第一訓練樣本的樣本標簽包括問題在文檔中的答案。

4.如權利要求2所述的方法，其中，所述問題生成模型為利用源領域的有標簽的第二訓練樣本初步訓練后得到的，所述第二訓練樣本的樣本輸入包括問題在文檔中的答案和文檔，所述第二訓練樣本的樣本標簽包括問題。

5.如權利要求1所述的方法，其中，所述獲取第一文檔和第一問題集合之后，所述方法還包括：

將所述第一文檔中的每個句子作為一個答案，得到第一答案集合；

針對所述第一答案集合中的第二答案，將所述第二答案和所述第一文檔輸入所述問題生成模型，得到所述第二答案對應的第三問題；

將所述第三問題和所述第一文檔輸入所述機器閱讀模型，得到所述第三問題在所述第一文檔中的第三答案；

根據所述第二答案和所述第三答案的差異，確定第二預測損失；

以最小化所述第二預測損失為訓練目標，執行對所述機器閱讀模型和所述問題生成模型的第二訓練。

6.如權利要求1所述的方法，其中，所述第一問題集合為從總問題集合中抽樣得到；

在針對所述第一問題集合的第一訓練執行完成后，所述方法還包括：

對所述第一問題集合中各問題的第一預測損失求平均，確定所述第一問題集合對應的第一平均預測損失；

當所述第一平均預測損失小于第一閾值時，結束所述第一訓練；

當所述第一平均預測損失大于或等于所述第一閾值時，再次從所述總問題集合中抽樣得到第二問題集合，針對所述第二問題集合執行所述第一訓練。

7.如權利要求5所述的方法，其中，所述將所述第一文檔中的每個句子作為一個答案，得到第一答案集合，包括：

將所述第一文檔拆分為多個句子，將每個句子作為一個答案，得到總答案集合；

從所述總答案集合中抽樣得到所述第一答案集合；

在針對所述第一答案集合的第二訓練執行完成后，所述方法還包括：

對所述第一答案集合中各答案的第二預測損失求平均，確定所述第一答案集合對應的第二平均預測損失；

當所述第二平均預測損失小于第二閾值時，結束所述第二訓練；

當所述第二平均預測損失大于或等于所述第二閾值時，再次從所述總答案集合中抽樣得到第二答案集合，針對所述第二答案集合執行所述第二訓練。