[發明專利]訓練機器閱讀模型的方法和裝置

在審

• 申請號: 202010566073.2
• 申請日: 2020-06-19
• 公開（公告）號: CN111460127A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 蔣亮;溫海嬌;溫祖杰;吳玲
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/169;G06F40/205;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 孫欣欣;周良玉

本說明書實施例提供一種訓練機器閱讀模型的方法和裝置，機器閱讀模型用于根據問題和文檔，預測問題在文檔中的答案，方法包括：獲取第一文檔和第一問題集合；針對第一問題集合中的第一問題，將第一問題和第一文檔輸入機器閱讀模型，得到第一問題在第一文檔中的第一答案；將第一答案和第一文檔輸入問題生成模型，得到第一答案對應的第二問題；其中，機器閱讀模型和問題生成模型互為對偶模型；根據第一問題和第二問題的差異，確定第一預測損失；以最小化第一預測損失為訓練目標，執行對機器閱讀模型和問題生成模型的第一訓練。能夠在缺乏訓練數據的情況下實現機器閱讀模型的訓練。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及訓練機器閱讀模型的方法和裝置。

背景技術

機器閱讀技術是利用深度神經網絡，對給定的一個問題，直接從非結構化文檔中去預測答案的技術。機器閱讀技術在實際業務場景中取得了越來越多的應用，比如智能客服場景、搜索場景等。機器閱讀模型的訓練需要文檔、問題、答案形式的訓練數據，這種訓練數據的生產成本非常高，極大的限制了機器閱讀模型的應用。

因此，希望能有改進的方案，能夠在缺乏訓練數據的情況下實現機器閱讀模型的訓練。

發明內容

本說明書一個或多個實施例描述了一種訓練機器閱讀模型的方法和裝置，能夠在缺乏訓練數據的情況下實現機器閱讀模型的訓練。

第一方面，提供了一種訓練機器閱讀模型的方法，所述機器閱讀模型用于根據問題和文檔，預測問題在文檔中的答案，方法包括：

獲取第一文檔和第一問題集合；

針對所述第一問題集合中的第一問題，將所述第一問題和所述第一文檔輸入機器閱讀模型，得到所述第一問題在所述第一文檔中的第一答案；

將所述第一答案和所述第一文檔輸入問題生成模型，得到所述第一答案對應的第二問題；其中，所述機器閱讀模型和所述問題生成模型互為對偶模型；

根據所述第一問題和所述第二問題的差異，確定第一預測損失；

以最小化所述第一預測損失為訓練目標，執行對所述機器閱讀模型和所述問題生成模型的第一訓練。

在一種可能的實施方式中，所述第一文檔和所述第一問題集合分別為目標領域的文檔和問題集合；所述機器閱讀模型和所述問題生成模型基于源領域的樣本初步訓練。

進一步地，所述機器閱讀模型為利用源領域的有標簽的第一訓練樣本初步訓練后得到的，所述第一訓練樣本的樣本輸入包括問題和文檔，所述第一訓練樣本的樣本標簽包括問題在文檔中的答案。

進一步地，所述問題生成模型為利用源領域的有標簽的第二訓練樣本初步訓練后得到的，所述第二訓練樣本的樣本輸入包括問題在文檔中的答案和文檔，所述第二訓練樣本的樣本標簽包括問題。

在一種可能的實施方式中，所述獲取第一文檔和第一問題集合之后，所述方法還包括：

將所述第一文檔中的每個句子作為一個答案，得到第一答案集合；

針對所述第一答案集合中的第二答案，將所述第二答案和所述第一文檔輸入所述問題生成模型，得到所述第二答案對應的第三問題；

將所述第三問題和所述第一文檔輸入所述機器閱讀模型，得到所述第三問題在所述第一文檔中的第三答案；

根據所述第二答案和所述第三答案的差異，確定第二預測損失；

以最小化所述第二預測損失為訓練目標，執行對所述機器閱讀模型和所述問題生成模型的第二訓練。

在一種可能的實施方式中，所述第一問題集合為從總問題集合中抽樣得到；

在針對所述第一問題集合的第一訓練執行完成后，所述方法還包括：