[發明專利]一種文本分類變體召回的優化方法、系統、介質及設備

有效

• 申請號: 202310142916.X
• 申請日: 2023-02-14
• 公開（公告）號: CN116340510B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 李斌
• 申請（專利權）人: 北京數美時代科技有限公司;數美天下（北京）科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33;G06N20/00
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 厲洋洋

1.一種文本分類變體召回的優化方法，其特征在于，包括：

獲取本體變體字映射表以及訓練樣本集；

依次判斷所述訓練樣本集中的每個字是否在所述本體變體字映射表中，生成判斷結果，根據所述判斷結果生成變體文本；

將在所述訓練樣本集中選取的第一集合作為本體樣本輸入至基礎模型中，得到第一輸出結果；

將所述變體文本輸入至所述基礎模型中，得到第二輸出結果；

根據所述第一輸出結果以及所述第二輸出結果確定KL散度，基于所述KL散度調整所述基礎模型的分類損失函數，基于調整后的分類損失函數優化所述基礎模型，得到優化模型，根據所述優化模型完成文本分類變體召回。

2.根據權利要求1所述的一種文本分類變體召回的優化方法，其特征在于，所述本體變體字映射表包括：

本體字以及所述本體字對應的同音字、同形字以及同義字。

3.根據權利要求1所述的一種文本分類變體召回的優化方法，其特征在于，所述根據所述判斷結果生成變體文本的過程為：

將判斷結果為是的文本字按照預設概率替換為該文本字對應的變體字，將所有變體字生成變體文本。

4.根據權利要求1所述的一種文本分類變體召回的優化方法，其特征在于，所述根據所述第一輸出結果以及所述第二輸出結果確定KL散度的過程為：

根據所述第一輸出結果確定第一分類類別概率分布，根據所述第二輸出結果確定第二分類類別概率分布，基于所述第一分類類別概率分布以及所述第二分類類別概率分布確定所述KL散度。

5.一種文本分類變體召回的優化系統，其特征在于，包括：

獲取模塊用于：獲取本體變體字映射表以及訓練樣本集；

判斷模塊用于：依次判斷所述訓練樣本集中的每個字是否在所述本體變體字映射表中，生成判斷結果，根據所述判斷結果生成變體文本；

第一輸出模塊用于：將在所述訓練樣本集中選取的第一集合作為本體樣本輸入至基礎模型中，得到第一輸出結果；

第二輸出模塊用于：將所述變體文本輸入至所述基礎模型中，得到第二輸出結果；

優化模塊用于：根據所述第一輸出結果以及所述第二輸出結果確定KL散度，基于所述KL散度調整所述基礎模型的分類損失函數，基于調整后的分類損失函數優化所述基礎模型，得到優化模型，根據所述優化模型完成文本分類變體召回。

6.根據權利要求5所述的一種文本分類變體召回的優化系統，其特征在于，所述本體變體字映射表包括：

本體字以及所述本體字對應的同音字、同形字以及同義字。

7.根據權利要求5所述的一種文本分類變體召回的優化系統，其特征在于，所述根據所述判斷結果生成變體文本的過程為：

將判斷結果為是的文本字按照預設概率替換為該文本字對應的變體字，將所有變體字生成變體文本。

8.根據權利要求5所述的一種文本分類變體召回的優化系統，其特征在于，所述根據所述第一輸出結果以及所述第二輸出結果確定KL散度的過程為：

根據所述第一輸出結果確定第一分類類別概率分布，根據所述第二輸出結果確定第二分類類別概率分布，基于所述第一分類類別概率分布以及所述第二分類類別概率分布確定所述KL散度。

9.一種存儲介質，其特征在于，所述介質中存儲有指令，當計算機讀取所述指令時，使所述計算機執行如權利要求1至4中任一項所述的方法。

10.一種電子設備，其特征在于，包括權利要求9所述的存儲介質、執行所述存儲介質內的指令的處理器。