[發明專利]一種多跳問答模型的評估方法、裝置及存儲介質

在審

• 申請號: 202210469885.4
• 申請日: 2022-04-30
• 公開（公告）號: CN114911900A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 魏忠鈺;丁佳玙
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332
• 代理公司: 蘇州隆恒知識產權代理事務所(普通合伙) 32366
• 代理人: 周子軼

1.一種多跳問答模型的評估方法，其特征在于，所述方法包括：

獲取目標問題和多跳問答模型的數據庫中與所述目標問題的真實答案相對應的原始文本；

提取所述原始文本中的推理鏈；所述推理鏈表示推理得到所述目標問題的答案所使用的多個實體之間的關系；

根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本；

將所述至少一個干擾文本加入至所述原始文本中，得到測試文本；

根據所述多跳問答模型從測試文本中推理得到的推理答案評估所述多跳問答模型的抗干擾能力。

2.根據權利要求1所述的方法，其特征在于，所述提取所述原始文本中的推理鏈包括：

根據所述原始文本構建實體圖；所述實體圖包括多個三元組，每個三元組表征兩個實體和所述兩個實體之間的關系；

提取所述目標問題中的問題實體；

從所述實體圖中匹配得到所述問題實體對應的真實答案實體；

提取所述實體圖中所述問題實體到所述真實答案實體的最短路徑作為推理鏈。

3.根據權利要求2所述的方法，其特征在于，所述根據所述原始文本構建實體圖包括：

根據預訓練的BERT模型計算所述目標問題與所述原始文本中各個段落的相關度；

選擇相關度大于預設閾值的目標段落構建實體圖。

4.根據權利要求1所述的方法，其特征在于，根據以下方式確定所述推理鏈的類型：

使用預設模型提取所述推理鏈的特征；

根據所述推理鏈的特征確定所述推理鏈的類型。

5.根據權利要求1所述的方法，其特征在于，所述根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本包括：

在所述推理鏈的類型為橋接型的情況下，修改所述目標問題中的問題實體的屬性關系，以生成假答案；其中，所述橋接型的推理鏈中的多個實體間的關系產生交叉；

獲取所述推理鏈中跳躍點的關系數量；所述跳躍點表示關聯多個關系的實體；

根據所述假答案構建所述關系數量個干擾文本。

6.根據權利要求1所述的方法，其特征在于，所述根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本包括：

在所述推理鏈的類型為比較型的情況下，修改所述目標問題中的問題實體的屬性關系，以生成假答案；其中，所述比較型的推理鏈中的多個實體間的關系不產生交叉；

根據所述假答案構建干擾文本。

7.根據權利要求1所述的方法，其特征在于，所述根據所述多跳問答模型從測試文本中推理得到的推理答案評估所述多跳問答模型的抗干擾能力包括：

比較所述推理答案和所述真實答案；

在所述推理答案和所述真實答案相同的情況下，確定所述多跳問答模型的抗干擾能力強；

在所述推理答案和所述真實答案不相同的情況下，確定所述多跳問答模型的抗干擾能力弱。

8.一種多跳問答模型的評估裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取目標問題和多跳問答模型的數據庫中與所述目標問題的真實答案相對應的原始文本；

提取模塊，用于提取所述原始文本中的推理鏈；所述推理鏈表示推理得到所述目標問題的答案所使用的多個實體之間的關系；

生成模塊，用于根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本；

測試模塊，用于將所述至少一個干擾文本加入至所述原始文本中，得到測試文本；

推理模塊，用于根據所述多跳問答模型從測試文本中推理得到的推理答案評估所述多跳問答模型的抗干擾能力。