[發(fā)明專利]語義分析模型評價方法

在審

• 申請?zhí)枺?/td>: 202110201774.0
• 申請日: 2021-02-23
• 公開（公告）號: CN112861545A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設計）人: 王海濤;張鳴;詹威;王勤勤;汪鵬;吳凱;石克陽
• 申請（專利權(quán)）人: 杭州微洱網(wǎng)絡科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/42
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 金方瑋

1.一種語義分析模型評價方法，其特征在于，包含：

測試所述語義分析模型的基本功能，具體包含：

檢查所述語義分析模型的模型詞表；

通過簡易測試集對所述語義分析模型進行測試判斷所述語義分析模型對簡易測試集的分析結(jié)果；

對上述測試結(jié)果進行打分得到第一得分；

測試所述語義分析模型的泛化能力，具體包含：

將若干所述語義分析模型能夠準確識別的語料做不影響語句語義的改寫處理得到改寫語料；

將改寫后得到的若干改寫語料重新輸入到所述語義分析模型判斷其是否能夠正確識別；

對上述測試結(jié)果進行打分得到第二得分；

測試所述語義分析模型的反向識別能力，具體包含：

將若干所述語義分析模型能夠準確識別的正向語料做反向改寫得到反向語料；

將改寫后得到的若干反向語料重新輸入到所述語義分析模型判斷其是否能夠正確識別；

對上述測試結(jié)果進行打分得到第三得分；

綜合上述步驟的打分結(jié)果得到一個綜合得分。

2.根據(jù)權(quán)利要求1所述的語義分析模型評價方法,其特征在于，

所述檢查所述語義分析模型的模型詞表的具體方法為：

將所述語義分析模型的模型詞表和行業(yè)關鍵詞庫進行比對以判斷所述模型詞表是否齊全。

3.根據(jù)權(quán)利要求2所述的語義分析模型評價方法,其特征在于，

所述行業(yè)關鍵詞庫通過以下具體方法獲得：

獲取各行業(yè)的對話語料；

將所述對話語料輸入到注意力機制模型以自動識別出其中的關鍵詞；

將所有提取出的關鍵詞組成所述行業(yè)關鍵詞庫。

4.根據(jù)權(quán)利要求3所述的語義分析模型評價方法,其特征在于，

所述通過簡易測試集對所述語義分析模型進行測試判斷所述語義分析模型對簡易測試集的分析結(jié)果的具體方法為：

獲取若干測試語句；

將若干所述測試語句分別輸入到多個簡易語義分析模型；

將每個所述簡易語義分析模型均給出高分的所述測試語句挑選出來組成所述簡易測試集；

將所述簡易測試集輸入所述語義分析模型得到分析結(jié)果。

5.根據(jù)權(quán)利要求1所述的語義分析模型評價方法,其特征在于，

所述將若干所述語義分析模型能夠準確識別的語料做不影響語句語義的改寫處理得到改寫語料的具體方法為：

獲取若干所述語義分析模型能夠準確識別的語料；

通過第一改寫模型對這些語料進行添加錯別字、添加標點符號、近義詞替換和添加不影響語義的單詞中的至少一種處理方法得到所述改寫語料。

6.根據(jù)權(quán)利要求1所述的語義分析模型評價方法,其特征在于，

所述將若干所述語義分析模型能夠準確識別的語料做不影響語句語義的改寫處理得到改寫語料的具體方法為：

獲取若干所述語義分析模型能夠準確識別的語料；

通過翻譯模型將這些語料翻譯成英文后再翻譯回中文得到所述改寫語料。

7.根據(jù)權(quán)利要求1所述的語義分析模型評價方法,其特征在于，

所述將若干所述語義分析模型能夠準確識別的正向語料做反向改寫得到反向語料的具體方法為：

獲取若干所述語義分析模型能夠準確識別的正向語料；

通過第二改寫模型對這些正向語料進行添加否定詞和替換反義詞中的一種處理方法得到所述反向語料。

8.根據(jù)權(quán)利要求1所述的語義分析模型評價方法,其特征在于，

所述將若干所述語義分析模型能夠準確識別的正向語料做反向改寫得到反向語料的具體方法為：

獲取若干所述語義分析模型能夠準確識別的正向語料；

通過第三改寫模型對這些正向語料進行反向語義改寫得到所述反向語料。