[發明專利]問答模型構建方法及系統、問答方法及裝置、審判系統

有效

• 申請號: 202011324245.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112131370B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 李鑫;王竹;翁洋;其他發明人請求不公開姓名
• 申請（專利權）人: 四川大學;成都數之聯科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06N5/04
• 代理公司: 成都云縱知識產權代理事務所(普通合伙) 51316
• 代理人: 熊曦;陳婉鵑

1.問答模型構建方法，其特征在于，所述問答模型包括推理路徑檢索模型和閱讀理解模型，所述方法包括：

步驟1.1：構造檢索推理路徑標注數據集；

步驟1.2：基于檢索推理路徑標注數據集，構建推理路徑檢索模型用于從預設信息中檢索出推理路徑；

步驟1.3：構造推理路徑檢索模型的損失函數；

步驟1.4：利用檢索推理路徑標注數據集訓練推理路徑檢索模型，得到訓練后的推理路徑檢索模型；

步驟1.5：基于訓練后的推理路徑檢索模型得到問題對應的多個推理路徑；

步驟1.6：基于推理路徑和答案構建閱讀理解模型用于從多個推理路徑中選擇最佳推理路徑和獲得答案。

2.根據權利要求1所述的問答模型構建方法，其特征在于，數據集的格式為：問題，預設信息，支持回答問題的一個或多個句子，問題的答案；支持回答問題的一個或多個句子為來自預設信息中的句子，支持回答問題的一個或多個句子中附加終止條件表示推理結束；

在第t步時，t 大于或等于1，推理路徑檢索模型基于RNN的當前隱狀態從候選句子集中選擇一個句子作為當前的支撐句子，為預設信息中排除已選擇支撐句子的剩余句子集合；

使用BERT的[CLS]輸出獨立編碼問題和該問題對應的候選句子的，然后計算概率，表示被選擇加入支持回答問題的一個或多個句子的概率；

當選擇到終止條件，該選擇過程終止；

在第t步選擇句子的公式為：

其中，為問題和候選句子的編碼，為問題，為候選句子，表示為維向量，表示第t步時RNN的隱狀態向量，是bias項。

3.根據權利要求2所述的問答模型構建方法，其特征在于，訓練數據的ground-truth推理路徑為：，為終止條件；針對RNN序列預測任務計算，使用二分類交叉熵損失函數最大化所有候選句子的概率值；

在第t步的loss函數為：

其中，是所有候選句子中非ground-truth的句子。

4.根據權利要求1所述的問答模型構建方法，其特征在于，本方法使用beam search方式獲取一個問題對應的多個推理路徑，設置beam size，在每一步選擇到當前時刻t概率之積最大的beam size個句子，構造出beam size個推理路徑。

5.根據權利要求1所述的問答模型構建方法，其特征在于，閱讀理解模型為多任務聯合學習模型，第一個任務為閱讀理解，用于從一個推理路徑中抽取出一個答案區間；第二個任務為推理路徑重排序，用于通過計算包含答案的推理路徑的概率來做重排序；對于閱讀理解任務，拼接問題和推理路徑中的句子輸入BERT模型，利用BERT模型的自注意力機制做推理路徑中句子的相互交互；對于重排序任務，使用BERT的[CLS]的表征計算選擇推理路徑回答問題的概率。

6.根據權利要求5所述的問答模型構建方法，其特征在于，使用BERT的[CLS]的表征計算選擇推理路徑回答問題的概率，具體為：

其中，為用推理路徑來回答問題的概率，為問題和推理路徑的編碼，為問題，為推理路徑，表示D維的向量，為權重向量；在推斷的時候，基于選擇最佳的推理路徑，同時基于輸出答案片段：

其中，為得分最高的答案片段，和分別表示在第和第個字是答案片段起始和結束的概率。