[發明專利]一種基于多步證據推理的機器閱讀理解方法與系統

有效

• 申請號: 202110441185.X
• 申請日: 2021-04-23
• 公開（公告）號: CN113254575B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 胡玥;彭偉
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F16/35;G06K9/62;G06N3/04;G06N5/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種基于多步證據推理的機器閱讀理解方法與系統。本方法的步驟包括：1)將文章P和問題Q輸入全局編碼器，生成輸入字符向量表示U；2)對U進行編碼得到輸入表示g并輸入多步證據推理機；3)多步證據推理機根據g進行推理得到與問題Q相關的的開始證據向量和結束證據向量；4)根據多步證據推理機最終計算得到的與問題Q相關的起始證據向量s^T+1、結束證據向量e^T+1和問題的表達向量q_cls計算問題Q的分值score，當分值score高于設定閾值θ，則判定該問題Q不可回答；否則判定該問題Q存在答案，并抽取從文章P中獲取答案的開始位置start?position和結束位置end?position。

技術領域

本發明屬于自然語言處理領域，特別涉及一種多步證據推理的機器閱讀理解方法和系統。

背景技術

近年來，機器閱讀理解(MRC)在最近的自然語言處理領域研究中獲得了蓬勃發展，其各種神經網絡模型在某些基準上迅速接近了人類水平，其目的是鼓勵機器能夠理解給定段落的內容并回答問題。抽取式機器閱讀理解是其中的一個分支，它主要是從文章當中抽取一個連續的片段，作為文本最終的答案，然而這種任務存在一個巨大的假設，即每一個問題都能夠在文章中找到答案，這樣的話，模型只需要去匹配與問題最相似的段落即可，并沒有真正的理解問題是否被文本所蘊含。如何讓模型自適應地準確地判定問題是可回答還是不可回答是一個巨大的挑戰。

傳統的抽取式機器閱讀理解方法旨在關注問題和文章的語義，從文章當中去匹配一個相似的段落，將其結果作為最終的答案。具體來說通常會使用一個長短時記憶網絡(LSTM,Long Short-Term Memory)對問題的語義進行建模，得到問題的表示。類似的本發明也會建模文章的語義信息。得到兩者的語義表達后，注意力機制(Attention Mechanism)會被應用，目的是為了融合兩者的交互信息，從而獲得感知問題的文章表達。匹配LSTM網絡(Match-LSTM)提出了一個端到端的神經架構，該架構是基于匹配網絡的方法進行文本蘊含判斷。同時提出了一個指針網絡，它是一個序列到序列的模型，為了從輸入的文本去構建輸出詞的概率分布從而判斷答案的邊界。該模型只考慮了從問題到文章方向的注意流，忽略了從文章指向問題方向的注意力流。為了解決上述問題，雙向注意力流模型(Bi-Directional Attention Flow Network)提出了一個多階段層級結構的過程，能夠捕獲和表達不同粒度的上下文信息，同時使用了一個雙向的注意力流機制，增強了感知問題的文章語義信息。大量后續的抽取機器閱讀理解的方法都是在這個模型的基礎上去進行的改進和迭代，以獲取更加準確的效果。比如注意力過度閱讀器(Attention-over-attentionReader)以及基于門控機制的自注意力網絡(Gated Self-Matching Networks)等等。