[發明專利]意圖抽取模型驗證方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010897652.5
• 申請日: 2020-08-31
• 公開（公告）號: CN112035641A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 張云嬋;羅銳;王鑫
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/247;G06K9/62;G16H40/67;G06Q30/02
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 紀婷婧

1.一種意圖抽取模型驗證方法，其特征在于，所述方法包括：

獲取模型測試數據，所述模型測試數據包括基于預設槽位規則生成的第一回復數據以及基于所述第一回復數據、且攜帶預期意圖標注結果的第二回復數據，所述預期意圖標注結果基于預設數據等級劃分原則確定；

調用待驗證的意圖抽取模型對所述模型測試數據進行意圖抽取，得到意圖抽取結果；

對所述意圖抽取結果和所述預期意圖標注結果進行分類計算，得到分類結果；

基于所述分類結果，生成模型驗證報告。

2.根據權利要求1所述的方法，其特征在于，所述獲取模型測試數據包括：

獲取問題數據；

根據所述預設槽位規則，生成與所述問題數據對應的第一回復數據；

擴展所述第一回復數據、并根據所述預設數據等級劃分原則對所述第一回復數據進行預期意圖標注，得到第二回復數據。

3.根據權利要求2所述的方法，其特征在于，所述根據所述預設槽位規則，生成與所述問題數據對應的第一回復數據之前，還包括：

獲取槽位數據；

擴展槽位數據的前綴規則、后綴規則、近義詞規則以及同義詞規則，得到所述預設槽位規則。

4.根據權利要求1所述的方法，其特征在于，所述對所述意圖抽取結果和所述預期意圖標注結果進行分類計算，得到分類結果包括：

對所述意圖抽取結果和所述預設意圖標注結果進行二分類計算，得到二分類結果。

5.根據權利要求1所述的方法，其特征在于，所述基于所述分類結果，生成模型驗證報告包括：

根據標準召回率、精準率以及準確率計算邏輯對所述分類結果進行micro統計計算，得到統計結果，所述統計結果包括不同數據等級對應的標準召回率、精準率以及準確率；

基于所述不同數據等級對應的標準召回率、精準率以及準確率，生成模型驗證報告。

6.根據權利要求1至5任意一項所述的方法，其特征在于，所述基于所述分類結果，生成模型驗證報告之后，還包括：

當判斷所述模型驗證報告中的標準召回率、精準率以及準確率滿足所述預期意圖標注結果對應的要求時，線上運行意圖抽取模型；

獲取線上回復數據以及所述意圖抽取模型的線上意圖抽取結果；

分析所述線上回復數據以及所述線上意圖抽取結果，得到模型線上分析報告。

7.根據權利要求6所述的方法，其特征在于，所述分析所述線上回復數據以及所述線上意圖抽取結果，得到模型線上分析報告包括：

按照所述預設數據等級劃分原則對所述線上回復數據進行預期意圖標注，得到線上預期意圖標注結果；

對所述線上意圖抽取結果和所述線上預設意圖標注結果進行二分類計算，得到線上二分類結果；

根據標準召回率、精準率以及準確率計算邏輯對所述線上二分類結果進行micro統計計算，得到線上統計結果；

根據所述線上統計結果，生成模型線上分析報告。

8.一種意圖抽取模型驗證裝置，其特征在于，所述裝置包括：

數據獲取模塊，用于獲取模型測試數據，所述模型測試數據包括基于預設槽位規則生成的回復數據以及攜帶預期意圖標注結果的回復數據，所述預期意圖標注結果基于預設數據等級劃分原則確定；

意圖抽取模塊，用于調用待驗證的意圖抽取模型對所述模型測試數據進行意圖抽取，得到意圖抽取結果；

分類計算模塊，用于對所述意圖抽取結果和所述預期意圖標注結果進行分類計算，得到分類結果；

模型驗證報告生成模塊，用于基于所述分類結果，生成模型驗證報告。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。