[發明專利]語義分析模型評價方法

在審

• 申請號: 202110201774.0
• 申請日: 2021-02-23
• 公開（公告）號: CN112861545A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 王海濤;張鳴;詹威;王勤勤;汪鵬;吳凱;石克陽
• 申請（專利權）人: 杭州微洱網絡科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/42
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 金方瑋

本發明公開了一種語義分析模型評價方法，該方法包含以下步驟：測試語義分析模型的基本功能。測試語義分析模型的泛化能力。測試語義分析模型的反向識別能力。綜合上述步驟的打分結果得到一個綜合得分。本發明提供的語義分析模型評價方法，從多個角度評價語義分析模型的能力，評價的結果更加準確全面。

技術領域

本發明涉及一種語義分析模型評價方法。

背景技術

隨著互聯網電商的發達，智能客服被應用的越來越多。好的智能客戶能夠準確識別用戶的意圖從而能夠進行有針對性的回復。而智能客服的核心在于其中語義識別模型的性能。

現階段的語義分析模型評估方式比較單一，基本是基于測試集的某一項指標做出評價，比如在測試集上的準確率、精確率或者F1值。所以，語義分析模型即使在現有的測試集上表現優異，但不代表在線上真實場景就會有良好的體感。

發明內容

本發明提供了一種語義分析模型評價方法，采用如下的技術方案：

一種語義分析模型評價方法，包含：

測試語義分析模型的基本功能，具體包含：

檢查語義分析模型的模型詞表；

通過簡易測試集對語義分析模型進行測試判斷語義分析模型對簡易測試集的分析結果；

對上述測試結果進行打分得到第一得分；

測試語義分析模型的泛化能力，具體包含：

將若干語義分析模型能夠準確識別的語料做不影響語句語義的改寫處理得到改寫語料；

將改寫后得到的若干改寫語料重新輸入到語義分析模型判斷其是否能夠正確識別；

對上述測試結果進行打分得到第二得分；

測試語義分析模型的反向識別能力，具體包含：

將若干語義分析模型能夠準確識別的正向語料做反向改寫得到反向語料；

將改寫后得到的若干反向語料重新輸入到語義分析模型判斷其是否能夠正確識別；

對上述測試結果進行打分得到第三得分；

綜合上述步驟的打分結果得到一個綜合得分。

進一步地，檢查語義分析模型的模型詞表的具體方法為：

將語義分析模型的模型詞表和行業關鍵詞庫進行比對以判斷模型詞表是否齊全。

進一步地，行業關鍵詞庫通過以下具體方法獲得：

獲取各行業的對話語料；

將對話語料輸入到注意力機制模型以自動識別出其中的關鍵詞；

將所有提取出的關鍵詞組成行業關鍵詞庫。

進一步地，通過簡易測試集對語義分析模型進行測試判斷語義分析模型對簡易測試集的分析結果的具體方法為：

獲取若干測試語句；

將若干測試語句分別輸入到多個簡易語義分析模型；

將每個簡易語義分析模型均給出高分的測試語句挑選出來組成簡易測試集；

將簡易測試集輸入語義分析模型得到分析結果。

進一步地，將若干語義分析模型能夠準確識別的語料做不影響語句語義的改寫處理得到改寫語料的具體方法為：

獲取若干語義分析模型能夠準確識別的語料；