[發明專利]文本分類方法、裝置和電子設備

有效

• 申請號: 202110683108.5
• 申請日: 2021-06-18
• 公開（公告）號: CN113312899B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 汪碩芃;張林箭;宋有偉;張聰;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/30;G06F40/44;G06N3/08;G06F16/35
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種文本分類方法，其特征在于，所述方法包括：

將獲取的待分類文本輸入至預先訓練完成的文本分類模型中，得到輸出結果；基于所述輸出結果確定所述待分類文本的文本類別；

其中，所述文本分類模型通過下述方式訓練得到：

基于統計頻率高于預設閾值的文本數據和/或語義相似度滿足預設條件的文本數據，確定多個文本類別以及每個所述文本類別對應的屬性規則；

基于所述多個文本類別以及每個所述文本類別對應的屬性規則，對所述多個樣本文本進行標注；如果所述樣本文本的屬性與多個所述屬性規則中的一個屬性規則相匹配，將所述樣本文本的標注信息設置為相匹配的屬性規則對應的文本類別；如果所述樣本文本的屬性與多個所述屬性規則均不匹配，將所述樣本文本的標注信息設備為指定類別；

基于攜帶有標注信息的所述多個樣本文本，對初始模型進行訓練，得到所述文本分類模型。

2.根據權利要求1所述的方法，其特征在于，基于統計頻率高于預設閾值的文本數據，確定多個文本類別以及每個所述文本類別對應的屬性規則的步驟，包括：

獲取包含有多個本文數據的數據集；

對所述數據集中每個文本數據在所述數據集中出現的頻次進行統計，得到每個所述文本數據的統計頻率；將所述統計頻率高于所述預設閾值的文本數據確定為第一目標數據；

根據所述第一目標數據，確定多個文本類別以及每個所述文本類別對應的屬性規則。

3.根據權利要求1所述的方法，其特征在于，基于語義相似度滿足預設條件的文本數據，確定多個文本類別以及每個所述文本類別對應的屬性規則的步驟，包括：

獲取包含有多個本文數據的數據集；

對所述數據集中的每個文本數據進行語義分析，得到每個所述文本數據的語義向量；

基于所述語義向量確定多個所述文本數據之間的語義相似度，將所述語義相似度滿足所述預設條件的文本數據，確定為第二目標數據；

根據所述第二目標數據，確定多個文本類別以及每個所述文本類別對應的屬性規則。

4.根據權利要求3所述的方法，其特征在于，所述對所述數據集中的每個文本數據進行語義分析，得到每個所述文本數據的語義向量的步驟，包括：

針對每個所述文本數據，將所述文本數據輸入至預設的語言模型中，得到所述文本數據對應的語義向量。

5.根據權利要求3所述的方法，其特征在于，所述將所述語義相似度滿足所述預設條件的文本數據，確定為第二目標數據的步驟，包括：

將所述語義相似度在指定范圍內的文本數據確定為一個聚類簇，得到多個聚類簇；

從所述多個聚類簇中，選取包含所述文本數據的數量高于預設數量閾值的目標聚類簇；從每個所述目標聚類簇中選取一個文本數據作為所述第二目標數據。

6.根據權利要求5所述的方法，其特征在于，所述從每個所述目標聚類簇中選取一個文本數據作為所述第二目標數據的步驟，包括：

針對每個所述目標聚類簇執行下述操作：

計算所述目標聚類簇中的所述文本數據的語義向量的平均值；

將所述目標聚類簇中與所述平均值的距離最小的語義向量對應的文本數據，確定為所述第二目標數據。

7.根據權利要求2所述的方法，其特征在于，基于統計頻率高于預設閾值的文本數據和語義相似度滿足預設條件的文本數據，確定多個文本類別以及每個所述文本類別對應的屬性規則的步驟，包括：

對所述數據集中除所述第一目標數據之外的第一數據進行語義分析，得到每個所述第一數據的語義向量；基于所述語義向量確定多個所述第一數據之間的語義相似度，將所述語義相似度滿足所述預設條件的第一數據，確定為第三目標數據；

根據所述第一目標數據和所述第三目標數據，確定多個文本類別以及每個所述文本類別對應的屬性規則。