[發明專利]一種多跳問答模型的評估方法、裝置及存儲介質

在審

• 申請號: 202210469885.4
• 申請日: 2022-04-30
• 公開（公告）號: CN114911900A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 魏忠鈺;丁佳玙
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332
• 代理公司: 蘇州隆恒知識產權代理事務所(普通合伙) 32366
• 代理人: 周子軼

本說明書實施例提供一種多跳問答模型的評估方法、裝置及存儲介質，所述方法包括：獲取目標問題和多跳問答模型的數據庫中與所述目標問題的真實答案相對應的原始文本；提取所述原始文本中的推理鏈；所述推理鏈表示推理得到所述目標問題的答案所使用的多個實體之間的關系；根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本；將所述至少一個干擾文本加入至所述原始文本中，得到測試文本；根據所述多跳問答模型從測試文本中推理得到的推理答案評估所述多跳問答模型的抗干擾能力，從而實現定向地對模型進行評估，準確地查找到模型的弱點。

技術領域

本說明書實施例涉及人工智能技術領域，特別涉及一種多跳問答模型的評估方法、裝置及存儲介質。

背景技術

問答(Question Answering，QA)是自然語言處理(Natural LanguageProcessing，NLP)的一個重要研究領域。在該領域中，研究者們旨在構建出這樣一種系統：它可以針對人類以“自然語言形式”提出的問題自動地給出答案。問答這一領域的研究成果已經早已普及我們每個人的生活。例如，當你清晨起床詢問你的智能語音助手“今天天氣怎么樣”時，你會得到類似這樣的回答：“今天是晴天，溫度15-22攝氏度”。

單跳問答是指通過簡單地將問題與一個單一上下文進行匹配得出答案。為驗證單跳問答模型的準確性，通常需要對單跳問答模型進行評估，例如通過替換實體對整個問題進行修改，并將新句子添加到輸入上下文中來構建干擾，從而確定模型的穩定性，即在進行干擾的情況下，是否還能夠準確回答出問題。

多跳問答是自然語言處理領域中一項極具挑戰性的任務，引起了人們的廣泛關注。與傳統的單跳問答任務相比，多跳問答需要聚合來自不同上下文的多個事實，并對它們進行復合推理以找到答案。因此，單跳問答模型的評估方式不適用于多跳問答模型，因為實體在連接不同上下文以研究推理鏈方面起著關鍵作用。替換實體可能會使干擾文本與問題完全無關，從而造成有限的分心影響。此外，這種做法無法使答案預測具有可追蹤性，也無法確定模型在哪個環節出現故障。

現有的對于多跳問答模型的評估只是測量答案預測的標準度量，但對于測試模型是否真正執行多跳推理來說是不夠的或不定向的。

發明內容

本說明書實施例的目的是提供一種多跳問答模型的評估方法、裝置及存儲介質，以實現定向地對模型進行評估，準確地查找到模型的弱點。

為解決上述問題，本說明書實施例提供一種多跳問答模型的評估方法，所述方法包括：獲取目標問題和多跳問答模型的數據庫中與所述目標問題的真實答案相對應的原始文本；提取所述原始文本中的推理鏈；所述推理鏈表示推理得到所述目標問題的答案所使用的多個實體之間的關系；根據所述推理鏈的類型生成干擾所述多個實體之間的關系的至少一個干擾文本；將所述至少一個干擾文本加入至所述原始文本中，得到測試文本；根據所述多跳問答模型從測試文本中推理得到的推理答案評估所述多跳問答模型的抗干擾能力。

進一步地，所述提取所述原始文本中的推理鏈包括：根據所述原始文本構建實體圖；所述實體圖包括多個三元組，每個三元組表征兩個實體和所述兩個實體之間的關系；提取所述目標問題中的問題實體；從所述實體圖中匹配得到所述問題實體對應的真實答案實體；提取所述實體圖中所述問題實體到所述真實答案實體的最短路徑作為推理鏈。

進一步地，所述根據所述原始文本構建實體圖包括：根據預訓練的BERT模型計算所述目標問題與所述原始文本中各個段落的相關度；選擇相關度大于預設閾值的目標段落構建實體圖。

進一步地，根據以下方式確定所述推理鏈的類型：使用預設模型提取所述推理鏈的特征；根據所述推理鏈的特征確定所述推理鏈的類型。