[發明專利]文本分類方法、裝置、設備以及存儲介質

有效

• 申請號: 201810729166.5
• 申請日: 2018-07-05
• 公開（公告）號: CN108875072B
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 陳立;楊俊;王珵
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N20/00;G06K9/62;G06F40/289
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 王明遠

1.一種文本分類方法，其特征在于，包括：

通過無監督機器學習方式學習第一文本集中的第一文本的各個單字和/或連續多字的分布表征，所述分布表征為內在特征；

針對第二文本集中至少部分第二文本中的每個第二文本，基于學習到的所述第一文本集中對應單字和/或連續多字的分布表征，得到該第二文本中各個單字和/或連續多字的分布表征；

至少以所述第二文本中各個單字和/或連續多字的分布表征為訓練樣本特征，以該第二文本的真實類別為訓練樣本標記，使用有監督機器學習方式進行訓練，以得到分類模型；以及

利用分類模型對所述第一文本的類別進行預測。

2.根據權利要求1所述的文本分類方法，其特征在于，

所述第一文本與所述第二文本的內容相同或相似；并且/或者

所述第一文本集中第一文本的數量大于所述第二文本集中第二文本的數量；并且/或者

所述第一文本集中第一文本的數據分布不同于所述第二文本集中第二文本的數據分布。

3.根據權利要求1所述的文本分類方法，其特征在于，

所述分布表征為詞向量。

4.根據權利要求1所述的文本分類方法，其特征在于，

所述連續多字包括不同字數的連續多字，并且，

每個連續多字的分布表征等于所述連續多字中各個單字的分布表征之和。

5.根據權利要求1所述的文本分類方法，其特征在于，所述利用分類模型對所述第一文本的類別進行預測的步驟包括：

至少以所述第一文本中每個單字和/或連續多字的分布表征為預測樣本特征，利用所述分類模型對所述第一文本的類別進行預測。

6.根據權利要求1所述的文本分類方法，其特征在于，還包括：

對所述第二文本進行分詞處理，并獲取每個分詞的one-hot特征，

其中，所述至少以所述第二文本中每個單字和/或連續多字的分布表征為訓練樣本特征的步驟包括：以所述第二文本中每個單字和/或連續多字的分布表征和所述第二文本中每個分詞的one-hot特征為訓練樣本特征。

7.根據權利要求6所述的文本分類方法，其特征在于，所述利用分類模型對所述第一文本的類別進行預測的步驟包括：

對所述第一文本進行分詞處理，并獲取每個分詞的one-hot特征；

以所述第一文本中每個單字和/或連續多字的分布表征和所述第一文本中每個分詞的one-hot特征為預測樣本特征，利用所述分類模型對所述第一文本的類別進行預測。

8.根據權利要求1所述的文本分類方法，其特征在于，還包括：

根據所述第一文本的分類需求，對所述分類模型的分類結果進行映射。

9.根據權利要求1所述的文本分類方法，其特征在于，

所述第一文本和第二文本均為商戶名稱，該方法用于對所述第一文本集中的商戶名稱進行關于經營類別的分類。

10.一種文本分類裝置，其特征在于，包括：

學習模塊，用于通過無監督機器學習方式學習第一文本集中的第一文本的各個單字和/或連續多字的分布表征，所述分布表征為內在特征；

獲取模塊，用于針對第二文本集中至少部分第二文本中的每個第二文本，基于學習到的所述第一文本集中對應單字和/或連續多字的分布表征，得到該第二文本中各個單字和/或連續多字的分布表征；

訓練模塊，用于至少以所述第二文本中各個單字和/或連續多字的分布表征為訓練樣本特征，以該第二文本的真實類別為訓練樣本標記，使用有監督機器學習方式進行訓練，以得到分類模型；以及

預測模塊，用于利用分類模型對所述第一文本的類別進行預測。