[發明專利]文本分類方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011144860.4
• 申請日: 2020-10-23
• 公開（公告）號: CN112269875B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 謝舒翼
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F18/214;G06N3/044;G06N3/049
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種文本分類方法，其特征在于，所述方法包括：

獲取訓練文本集及驗證文本集，利用所述訓練文本集對第一分類模型進行文本分類訓練，得到第一文本分類模型，及利用所述訓練文本集對第二分類模型進行文本分類訓練，得到第二文本分類模型；

根據在所述第一文本分類模型中構建的第一文本分類神經元層數，計算所述訓練文本集的第一文本分類概率值，及根據在所述第二文本分類模型中構建的第二文本分類神經元層數，計算所述訓練文本集的第二文本分類概率值；

計算所述第一文本分類概率值與所述第二文本分類概率值的相對熵，根據所述相對熵，調整所述第二文本分類模型的參數，直至所述第二文本分類模型趨于收斂時，得到初始第二文本分類模型；

利用所述初始第二文本分類模型對所述驗證文本集進行文本分類并計算所述文本分類的結果的文本分類準確率；

若所述文本分類準確率大于預設閾值，則利用所述初始第二文本分類模型對待分類文本進行文本分類，得到所述待分類文本的分類結果；

若所述文本分類準確率不大于預設閾值，則利用所述第一文本分類模型對所述初始第二文本分類模型進行迭代訓練，得到目標文本分類模型；

利用所述目標文本分類模型對待分類文本進行文本分類，得到所述待分類文本的分類結果；

其中，所述第一分類模型是RoBERTa模型，所述第二分類模型是LSTM模型；

所述根據在所述第一文本分類模型中構建的第一文本分類神經元層數，計算所述訓練文本集的第一文本分類概率值，包括：利用下述方法計算所述訓練文本集的第一文本分類概率值：

其中，Z⁽⁾表示第一文本分類概率值，表示訓練文本集中第b個文本分類結果與第一文本分類神經元層數的比值，j表示訓練文本集的文本分類數量，表示訓練文本集中所有文本分類結果與第一文本分類神經元層數的比值。

2.如權利要求1所述的文本分類方法，其特征在于，所述計算所述第一文本分類概率值與所述第二文本分類概率值的相對熵，包括：

利用下述方法計算所述第一文本分類概率值與所述第二文本分類概率值的相對熵：

其中，D_KL(Z_t|Z_s)表示相對熵，N表示訓練文本集的樣本數，x_i表示訓練文本集中第i個訓練文本，z_t(_i)表示訓練文本集中第i個訓練文本的第一文本分類概率值，z_s(_i)表示表示訓練文本集中第i個訓練文本的第二文本分類概率值。

3.如權利要求1所述的文本分類方法，其特征在于，所述根據所述相對熵，調整所述第二文本分類模型的參數，包括：

獲取所述第二文本分類模型的交叉熵；

計算所述交叉熵與所述相對熵的最終損失值；

根據所述最終損失值，執行所述第二文本分類模型的參數調整。

4.如權利要求3所述的文本分類方法，其特征在于，所述計算所述交叉熵與所述相對熵的最終損失值，包括：

利用下述方法計算所述交叉熵與所述相對熵的最終損失值：

Loss＝loss_distill+D_KL(Z_t|Z_s)

其中，Loss表示最終損失值，loss_distill表示交叉熵，D_KL(Z_t|Z_s)表示相對熵。