[發明專利]一種文本預測模型性能的評估方法和裝置

有效

• 申請號: 202110521528.3
• 申請日: 2021-05-13
• 公開（公告）號: CN113220553B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 簡葳玙;楊舟
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

說明書披露一種文本預測模型性能的評估方法和裝置。一種文本預測模型性能的評估方法，包括：獲取待評估的文本預測模型的若干原始測試文本；將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；基于所述若干變種測試文本，對所述待評估的文本預測模型的性能進行評估。

技術領域

本說明書涉及人工智能領域，特別涉及一種文本預測模型性能的評估方法和裝置。

背景技術

隨著技術的不斷發展，基于人工智能產生的各類模型已融入了生活的方方面面，例如在文本處理領域，可以通過文本預測模型進行違規文本、敏感文本的預測，但出于文本自身的靈活多變性，實際情況下的文本可能是各式各樣、個性化的，這就對文本預測模型的性能提出了較高要求。在這一背景下，如何對文本預測模型的性能進行評估，成為業內關注的重點。

發明內容

有鑒于此，本說明書提供一種文本預測模型性能的評估方法和裝置。

具體地，本說明書是通過如下技術方案實現的：

一種文本預測模型性能的評估方法，包括：

獲取待評估的文本預測模型的若干原始測試文本；

將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；

其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；

基于所述若干變種測試文本，對所述待評估的文本預測模型的性能進行評估。

一種文本預測模型性能的評估裝置，包括：

獲取單元，獲取待評估的文本預測模型的若干原始測試文本；

輸入單元，將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；

其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；

評估單元，基于所述若干變種測試文本，對所述待評估的文本預測模型的性能進行評估。

一種文本預測模型性能的評估裝置，包括：

處理器；

用于存儲機器可執行指令的存儲器；

其中，通過讀取并執行所述存儲器存儲的與文本預測模型性能的評估邏輯對應的機器可執行指令，所述處理器被促使：

獲取待評估的文本預測模型的若干原始測試文本；

將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；

其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；

基于所述若干變種測試文本，對所述待評估的文本預測模型的性能進行評估。