[發明專利]問答模型構建方法及系統、問答方法及裝置、審判系統

有效

• 申請號: 202011324245.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112131370B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 李鑫;王竹;翁洋;其他發明人請求不公開姓名
• 申請（專利權）人: 四川大學;成都數之聯科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06N5/04
• 代理公司: 成都云縱知識產權代理事務所(普通合伙) 51316
• 代理人: 熊曦;陳婉鵑

本發明公開了問答模型構建方法及系統、問答方法及裝置、審判系統，問答模型包括推理路徑檢索模型和閱讀理解模型，方法包括：構造檢索推理路徑標注數據集；基于檢索推理路徑標注數據集，構建推理路徑檢索模型用于從預設信息中檢索出推理路徑；構造推理路徑檢索模型的損失函數；利用檢索推理路徑標注數據集訓練推理路徑檢索模型；基于訓練后的推理路徑檢索模型，得到問題對應的多個推理路徑；基于推理路徑和答案構建閱讀理解模型用于從多個推理路徑中選擇最佳推理路徑和獲得答案，本發明實現基于多跳閱讀理解的智能問答，不僅可以基于預設信息給出問題的答案，而且可以給出獲取答案的推理過程。

技術領域

本發明涉及自然語言處理閱讀理解領域，具體地，涉及一種問答模型構建方法及系統、問答方法及裝置、審判系統。

背景技術

目前大多數問答系統或問答方法是使用非參數的tf-idf/BM25模型獲取候選句子/段落，然后通過一個神經閱讀理解模型抽取出其中的答案部分。但是這種模型僅僅局限于單跳的問答，也即問題的答案只需要一個句子/段落即可找到，不能抽取出多跳問題所需的支撐證據。

許多領域的問答都是基于句子的多跳的閱讀理解，回答問題需要找到多個支撐句子，然后一步步的跳轉到答案所在的句子；其中，支撐句子常常和原始問題只有很少的詞匯重疊或者語義關系，因此現有的模型并不適用于這種基于句子的多跳的閱讀理解。

發明內容

本發明目的是為了實現基于多跳閱讀理解的智能問答，其達到的效果不僅可以基于預設信息給出問題的答案，而且可以給出獲取答案的推理過程。

為實現上述目的，本發明提供了問答模型構建方法，所述問答模型包括推理路徑檢索模型和閱讀理解模型，所述方法包括：

步驟1.1：構造檢索推理路徑標注數據集；

步驟1.2：基于檢索推理路徑標注數據集，構建推理路徑檢索模型用于從預設信息中檢索出推理路徑；

步驟1.3：構造推理路徑檢索模型的損失函數；

步驟1.4：利用檢索推理路徑標注數據集訓練推理路徑檢索模型，得到訓練后的推理路徑檢索模型；

步驟1.5：基于訓練后的推理路徑檢索模型得到問題對應的多個推理路徑；

步驟1.6：基于推理路徑和答案構建閱讀理解模型用于從多個推理路徑中選擇最佳推理路徑和獲得答案。

本方法中的多跳閱讀理解模型即問答模型，包括推理路徑檢索模型和閱讀理解模型，輸入原始問題和預設信息部分，輸出原始問題的答案以及獲取答案的推理路徑。整個模型由兩大組件構成：基于RNN檢索出推理路徑（句子）模型（即檢索模型）和基于推理路徑的閱讀理解模型（即閱讀理解模型）。通過本方法能夠構建出問答模型，而通過該問答模型可以獲得問題的答案和推理路徑。

優選的，數據集的格式為：問題，預設信息，支持回答問題的一個或多個句子，問題的答案；支持回答問題的一個或多個句子為預設信息中的一個或多個句子；通過上述定義的數據集格式不僅僅是為了標識答案，還要標識出獲取答案的推理路徑（句子），這樣使得模型可以根據標注的數據，學習到答案是如何基于推理路徑一步步找到的。

支持回答問題的一個或多個句子中附加終止條件表示推理結束；

在第t步時，t 大于或等于1，推理路徑檢索模型基于RNN的當前隱狀態從候選句子集中選擇一個句子作為當前的支撐句子，為預設信息中排除已選擇支撐句子的剩余句子集合；

使用BERT的[CLS]輸出獨立編碼問題和該問題對應的候選句子，然后計算概率，表示被選擇加入支持回答問題的一個或多個句子的概率；

當選擇到終止條件，該選擇過程終止；

在第t步選擇句子的公式為：