[發明專利]意圖抽取模型驗證方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010897652.5
• 申請日: 2020-08-31
• 公開（公告）號: CN112035641A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 張云嬋;羅銳;王鑫
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/247;G06K9/62;G16H40/67;G06Q30/02
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 紀婷婧

本申請涉及人工智能技術領域，提供一種意圖抽取模型驗證方法、裝置、計算機設備和存儲介質。所述方法包括：獲取模型測試數據，模型測試數據包括基于預設槽位規則生成的第一回復數據以及基于第一回復數據生成、且攜帶預期意圖標注結果的第二回復數據，預期意圖標注結果基于預設數據等級劃分原則確定，調用待驗證的意圖抽取模型對模型測試數據進行意圖抽取，得到意圖抽取結果，對意圖抽取結果和預期意圖標注結果進行分類計算，得到分類結果，基于分類結果，生成模型驗證報告。采用本方法能夠提高驗證意圖抽取模型抽取出的意圖的效率。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種意圖抽取模型驗證方法、裝置、計算機設備和存儲介質。

背景技術

隨著人工智能技術的快速發展，金融、娛樂、交通、醫療等傳統行業與人工智能的融合也得到了快速發展。近幾年，醫療軟件與移動終端設備的密切結合，為病人提供就醫便捷，出現了智能問診的方案和系統。

智能問診即指患者可在線上針對線上醫生(客服機器人)提出的問題進行回復，根據患者回復數據進行智能意圖抽取，經過多輪對話后，得到患者與某些疾病癥狀的相關情況，進而實現智能診斷。這整個過程中，提取患者回復數據中的患者意圖的準確性就顯得十分關鍵，因此需要對提取出的患者意圖的準確性進行驗證。

目前，驗證患者意圖抽取的準確性的做法是獲取線上醫生問題對應的患者回復數據，人工標注預期意圖，使用意圖抽取模型抽取患者意圖，進而驗證模型抽取出的患者意圖是否準確。但是，上述方案需要人工標注分離數據耗費大量人力成本，且線上拉取的患者回復數據經過人工檢查，存在很多患者回復錯亂、答非所問、或者算法抽取難度較大的情況，使得模型抽取患者意圖的效率和準確性大打折扣，進而影響驗證模型抽取出的患者意圖的效率。

發明內容

基于此，有必要針對上述技術問題，提供一種高效的意圖抽取模型驗證方法、裝置、計算機設備和存儲介質。

一種意圖抽取模型驗證方法，方法包括：

獲取模型測試數據，模型測試數據包括基于預設槽位規則生成的第一回復數據以及基于第一回復數據生成、且攜帶預期意圖標注結果的第二回復數據，預期意圖標注結果基于預設數據等級劃分原則確定；

調用待驗證的意圖抽取模型對模型測試數據進行意圖抽取，得到意圖抽取結果；

對意圖抽取結果和預期意圖標注結果進行分類計算，得到分類結果；

基于分類結果，生成模型驗證報告。

在其中一個實施例中，獲取模型測試數據包括：

獲取問題數據；

根據預設槽位規則，生成與問題數據對應的第一回復數據；

擴展第一回復數據、并根據預設數據等級劃分原則對第一回復數據進行預期意圖標注，得到第二回復數據。

在其中一個實施例中，根據預設槽位規則，生成與問題數據對應的第一回復數據之前，還包括：

獲取槽位數據；

擴展槽位數據的前綴規則、后綴規則、近義詞規則以及同義詞規則，得到預設槽位規則。

在其中一個實施例中，對意圖抽取結果和預期意圖標注結果進行分類計算，得到分類結果包括：

對意圖抽取結果和預設意圖標注結果進行二分類計算，得到二分類結果。

在其中一個實施例中，基于分類結果，生成模型驗證報告包括：

根據標準召回率、精準率以及準確率計算邏輯對分類結果進行micro統計計算，得到統計結果，統計結果包括不同數據等級對應的標準召回率、精準率以及準確率；