[發明專利]一種文本預測模型性能的評估方法和裝置

有效

• 申請號: 202110521528.3
• 申請日: 2021-05-13
• 公開（公告）號: CN113220553B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 簡葳玙;楊舟
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種文本預測模型性能的評估方法，包括：

獲取待評估的文本預測模型的若干原始測試文本；

將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；

其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；

基于若干變種測試文本，對所述待評估的文本預測模型的性能進行評估；

所述生成子網絡的訓練過程，包括：

采用以下步驟對生成子網絡進行迭代訓練：

將原始訓練文本輸入待訓練的生成子網絡，得到所述原始訓練文本對應的變種訓練文本；

將所述原始訓練文本和所述變種訓練文本分別輸入分類子網絡，得到所述原始訓練文本對應的第一分類結果和所述變種訓練文本對應的第二分類結果；

計算所述第一分類結果和所述第二分類結果的差異；

基于所述差異計算所述生成子網絡在本次迭代中的損失，所述損失與所述差異負相關；

基于所述損失判斷所述生成子網絡是否迭代完成；

若否，則基于所述第一分類結果、所述第二分類結果和上一次迭代中所述生成子網絡的參數，確定本次迭代中生成子網絡的參數。

2.根據權利要求1所述方法，在對所述生成子網絡訓練的過程中，所述生成子網絡還用于生成原始訓練文本的第一語意特征和變種訓練文本的第二語意特征，

所述基于所述差異計算所述生成子網絡在本次迭代中的損失，包括：

計算所述第一語意特征和所述第二語意特征之間的相似度；

基于所述差異和所述相似度計算所述生成子網絡在本次迭代中的損失，所述損失與所述相似度正相關。

3.根據權利要求1-2任一項所述方法，所述生成子網絡為長短期記憶人工神經網絡LSTM。

4.根據權利要求1所述方法，所述基于所述若干變種測試文本，對所述待評估的文本預測模型的性能進行評估，包括：

將所述若干變種測試文本輸入待評估的文本預測模型；

基于所述待評估的文本預測模型對所述變種測試文本的識別準確率，對所述文本預測模型的性能進行評估。

5.根據權利要求1所述方法，所述待評估的文本預測模型用于識別違規文本。

6.一種文本預測模型性能的評估裝置，包括：

獲取單元，獲取待評估的文本預測模型的若干原始測試文本；

輸入單元，將所述原始測試文本輸入已訓練的生成對抗神經網絡，得到所述原始測試文本對應的變種測試文本；

其中，所述生成對抗神經網絡包括生成子網絡和分類子網絡，所述生成子網絡用于為所述原始測試文本生成對應的變種測試文本，所述變種測試文本的真實類別與所述原始測試文本的類別相同，所述分類子網絡對所述原始測試文本和所述變種測試文本的分類結果不同；

評估單元，基于若干變種測試文本，對所述待評估的文本預測模型的性能進行評估；

所述生成子網絡的訓練過程，包括：

采用以下步驟對生成子網絡進行迭代訓練：

將原始訓練文本輸入待訓練的生成子網絡，得到所述原始訓練文本對應的變種訓練文本；

將所述原始訓練文本和所述變種訓練文本分別輸入分類子網絡，得到所述原始訓練文本對應的第一分類結果和所述變種訓練文本對應的第二分類結果；

計算所述第一分類結果和所述第二分類結果的差異；

基于所述差異計算所述生成子網絡在本次迭代中的損失，所述損失與所述差異負相關；

基于所述損失判斷所述生成子網絡是否迭代完成；

若否，則基于所述第一分類結果、所述第二分類結果和上一次迭代中所述生成子網絡的參數，確定本次迭代中生成子網絡的參數。