[發明專利]一種文本分類方法和相關裝置

在審

• 申請號: 202011222967.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112214605A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 繆暢宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

1.一種文本分類方法，其特征在于，所述方法包括：

獲取對應第一語言的第一樣本集合和對應第二語言的第二樣本集合，所述第一樣本集合包括第一數量的第一文本樣本，所述第二樣本集合包括第二數量的第二文本樣本，所述第一文本樣本和所述第二文本樣本具有基于相同標注規則得到的標注標簽，所述第一數量大于所述第二數量；

根據所述第一樣本集合和所述第二樣本集合生成訓練樣本集合；

基于所述訓練樣本集合訓練初始通用分類模型，得到通用分類模型，在訓練所述初始通用分類模型時，用于輸入所述初始通用分類模型的輸入序列中所述第一文本樣本和所述第二文本樣本混合排列；

通過所述通用分類模型對未標注文本進行分類標注，所述未標注文本為對應所述第二語言的文本。

2.根據權利要求1所述的方法，其特征在于，所述基于所述訓練樣本集合訓練初始通用分類模型，得到通用分類模型，包括以下任一方式，或多種方式的組合：

方式一：將所述訓練樣本集合中的所述第一文本樣本和所述第二文本樣本混合排列，并基于所述訓練樣本集合訓練所述初始通用分類模型，得到通用分類模型；或，

方式二：從所述訓練樣本集合中隨機抽取所述第一文本樣本或所述第二文本樣本作為所述初始通用分類模型輸入，以對所述初始通用分類模型進行訓練，得到通用分類模型。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第一樣本集合和所述第二樣本集合生成訓練樣本集合，包括：

基于所述第一數量，根據所述第二文本樣本對所述第二樣本集合進行樣本數量擴充，得到擴充后的第二樣本集合；

根據所述第一樣本集合和所述擴充后的第二樣本集合生成訓練樣本集合。

4.根據權利要求1所述的方法，其特征在于，在所述基于所述訓練樣本集合訓練初始通用分類模型的過程中，包括：

針對從所述訓練樣本集合中提取的第一文本樣本，通過第一特征模型提取所述第一文本樣本的文本特征；

根據所述第一文本樣本的文本特征，通過所述初始通用分類模型得到對應的第一待定標簽；

根據所述第一待定標簽和所述第一文本樣本對應的標注標簽調整所述初始通用分類模型的模型參數；

針對從所述訓練樣本集合中提取的第二文本樣本，通過第二特征模型提取所述第二文本樣本的文本特征；

根據所述第二文本樣本的文本特征，通過所述初始通用分類模型得到對應的第二待定標簽；

根據所述第二待定標簽和所述第二文本樣本對應的標注標簽調整所述初始通用分類模型的模型參數。

5.根據權利要求1-4任意一項所述的方法，其特征在于，所述通用分類模型通過所述訓練確定所述第一語言和所述第二語言的文本特征分別對應的空間分布信息，以及所述第一語言和所述第二語言中具有相同含義的文本所對應文本特征間的空間映射關系。

6.根據權利要求1所述的方法，其特征在于，所述第一文本樣本或所述第二文本樣本的標注標簽用于標識所對應文本樣本的文本類別，所述通過所述通用分類模型對未標注文本進行分類標注，包括：

通過所述通用分類模型對未標注文本進行分類標注，以通過確定的標注標簽標識所述未標注文本的文本類別。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

根據確定了標注標簽的所述未標注文本和所述第二樣本集合，訓練對應所述第二語言的分類模型。