[發明專利]機器閱讀理解模型的訓練方法、裝置及可讀存儲介質

在審

• 申請號: 202010535636.1
• 申請日: 2020-06-12
• 公開（公告）號: CN113807512A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 肖天雄;童毅軒;董濱;姜珊珊;張佳師
• 申請（專利權）人: 株式會社理光
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F16/35;G06K9/62;G06F17/18
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;姜精斌

本發明提供了一種機器閱讀理解模型的訓練方法、裝置及可讀存儲介質。本發明提供的機器閱讀理解模型的訓練方法，在機器閱讀理解模型的訓練過程中，通過融入答案邊界附近的停用詞的概率信息，可以以較少的訓練時間，訓練得到性能較好的機器閱讀理解模型，進而提高了訓練得到的模型對答案預測的準確性。

技術領域

本發明涉及機器學習與自然語言處理(NLP，Natural Language Processing)技術領域，具體涉及一種機器閱讀理解模型的訓練方法、裝置及計算機可讀存儲介質。

背景技術

機器閱讀理解(MRC，Machine Reading Comprehension)是指對文本的自動、無監督的理解。讓計算機具備通過文本數據獲取知識和回答問題的能力，被認為是構建通用智能體的一個關鍵步驟。機器閱讀理解的任務目標在于讓機器學會根據文章內容回答人類提出的問題，這類任務可以作為測試計算機能否很好地理解自然語言的基線方法。同時機器閱讀理解又有廣泛的應用場景，例如搜索引擎、電子商務、教育領域等。

在過去的二十年左右，自然語言處理(NLP)為底層句法和語義文本處理任務開發了強大的方法，如解析，語義角色標注和文本分類。在同一時期，機器學習和概率推理領域也取得了重要突破。目前人工智能已經逐步轉向研究如何利用這些進步來理解文本。

這里“理解文本”一詞意思是基于文本語料庫和背景/理論形成一套連貫一致的理解。一般來說，人們在讀完一篇文章之后就會在腦海里形成一定的印象，例如這篇文章講的是什么人，做了什么事情，出現了什么，發生在哪里等等。人們能夠很輕而易舉地歸納出文章中的重點內容。機器閱讀理解的研究就是賦予計算機與人類同等的閱讀能力，即讓計算機閱讀一篇文章，隨后讓計算機解答與文中信息相關的問題。

機器閱讀理解其實和人閱讀理解面臨的問題是類似的，不過為了降低任務難度，很多目前研究的機器閱讀理解都將世界知識排除在外，采用人工構造的比較簡單的數據集，以及回答一些相對簡單的問題。給定需要機器理解的文章以及對應的問題，比較常見的任務形式包括人工合成問答、填字方式(Cloze-style queries)和選擇題等方式。

其中，人工合成問答是由人工構造的由若干簡單事實形成的文章以及給出對應問題，要求機器閱讀理解文章內容并做出一定的推理，從而得出正確答案，正確答案往往是文章中的某個關鍵詞或者實體。

目前，機器閱讀理解目前大多是采用大規模預訓練語言模型，通過尋找文章中每個詞語與問題中每個詞語的對應關系(該對應關系可以稱為對齊信息)發現深層特征，基于此特征，找到文章中的原話來回答人類提出的問題。圖1示出了現有技術中預訓練語言模型的示意圖。

如圖1所示，以檢索到的文章和問題為輸入，經過預訓練語言模型對文章和問題文本進行編碼，并計算詞語之間的對齊信息，最終輸出答案所在位置的概率，選擇概率最大的作為上述問題的答案。

目前的機器閱讀理解技術中，最終給出的答案的準確性不高。

發明內容

本發明實施例要解決的技術問題是提供一種機器閱讀理解模型的訓練方法、裝置及計算機可讀存儲介質，能夠以較少的訓練時間，訓練得到性能較好的機器閱讀理解模型，進而提高了機器閱讀理解模型對答案預測的準確性。

根據本發明實施例的一個方面，提供了一種機器閱讀理解模型的訓練方法，包括：

根據訓練文本中每個詞的位置和答案標簽的位置，計算得到每個詞與所述答案標簽之間的距離；

將所述詞與所述答案標簽之間的距離輸入至一平滑函數，獲得所述平滑函數輸出的所述詞對應的概率值；

將所述詞對應的概率值作為所述詞平滑后的標簽，訓練機器閱讀理解模型；