[發明專利]基于BERT的機器閱讀理解方法、裝置、設備及存儲介質

有效

• 申請號: 202011187381.0
• 申請日: 2020-10-29
• 公開（公告）號: CN112464641B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 侯麗;劉翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/295;G06F40/166
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 賀小旺

本發明涉及人工智能技術領域，公開了一種基于BERT的機器閱讀理解方法、裝置、計算機設備及計算機可讀存儲介質，該方法包括：根據待訓練問題文檔對訓練第一預置預訓練語言模型，生成文檔排序模型；根據所述待訓練問題文檔對訓練預置多文檔答案預測模型，生成閱讀理解模型；根據待預測問題文檔對和文檔排序模型，輸出所述第二問題對應的目標文檔；基于所述閱讀理解模型，根據所述第二問題和所述目標文檔，獲取所述閱讀理解模型輸出所述目標文檔中的目標文本，并將所述目標文本作為所述第二問題的閱讀理解答案，實現將多文檔閱讀理解問題轉換為單文檔閱讀理解問題，降低閱讀理解時抽取答案的干擾，從而提高多文檔閱讀理解答案的準確性。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種基于BERT的機器閱讀理解方法、裝置、計算機設備及計算機可讀存儲介質。

背景技術

機器閱讀理解是人工智能技術的重要組成部分，過去幾年里，隨著深度學習的出現，機器閱讀理解(其要求機器基于給定的上下文回答問題)已經贏得了越來越廣泛的關注，尤其是隨著以BERT(Bidirectional Encoder Representations from Transformers預訓練語言模型)為代表的預訓練語言模型的發展，機器閱讀理解任務都有著飛速的發展，主要體現為從關注限定文本到結合外部知識，從關注特定片段到對上下文的全面理解。然而在實際的應用場景中，常常會面臨單個問題對應多個搜索引擎檢索獲得的文檔，即需要整合多個文檔的信息來預測答案。

目前對于多文檔閱讀理解，多采用多個文檔進行拼接成一個長文檔，再采用文檔滑動窗口，將長文檔拆分為固定長度的多個段文本，每個文本段均與問題進行拼接后進行閱讀理解，對同一個問題選擇多個文本段中得分最高的答案作為該問題的閱讀理解答案。例如，MS MARCO(Microsoft MAchine Reading Comprehension微軟機器閱讀理解)的Question Answering(智能問答)數據集是一個國際上權威的閱讀理解數據集，其每條記錄包含一個問題，十個候選文檔，這十個候選答案有一個或者兩個是包含問題答案文檔。使用基于bert預訓練語言模型在測試集上進行對比測試，直接使用十個候選文檔拼接的長文本進行閱讀理解的答案ROUGEL值大概為0.48，而比直接在含有答案的單個文檔中進行閱讀理解的答案ROUGEL值大概為0.56，兩者相差約0.08分。其中，ROUGEL包括ROUGE(Recall-Oriented Understudy for Gisting Evaluation評估自動文摘以及機器翻譯的一組指標)和L(longest common subsequence，最長公共子序列)，ROUGEL值是機器閱讀理解領域通用的答案質量評價指標，ROUGEL值越大，代表預測答案質量越好。使用基于bert預訓練語言模型在一定程度上解決了現有模型對于多文檔場景的輸入長度受限的缺點，但其準確率與對單個文檔進行閱讀理解的準確率較低。

發明內容

本申請的主要目的在于提供一種基于BERT的機器閱讀理解方法、裝置、計算機設備及計算機可讀存儲介質，旨在解決現有使用基于bert預訓練語言模型在一定程度上解決了現有模型對于多文檔場景的輸入長度受限的缺點，但其準確率與對單個文檔進行閱讀理解的準確率較低的技術問題。

第一方面，本申請提供一種基于BERT的機器閱讀理解方法，所述基于BERT的機器閱讀理解方法包括以下步驟：

獲取待訓練的第一問題和多個候選文檔，將所述第一問題分別與各個候選文檔組合，生成待訓練問題文檔對；

根據所述待訓練問題文檔對訓練第一預置預訓練語言模型，生成文檔排序模型；

根據所述待訓練問題文檔對訓練預置多文檔答案預測模型，生成閱讀理解模型；

獲取待預測問題文檔對，其中，所述待預測問題文檔對包括第二問題和所述第二問題對應的多個候選文檔；

基于所述文檔排序模型，根據所述待預測問題文檔對，輸出所述第二問題對應的目標文檔；