[發明專利]一種文本分類方法和裝置

有效

• 申請號: 201010292461.2
• 申請日: 2010-09-21
• 公開（公告）號: CN102411592A
• 公開（公告）日: 2012-04-11
• 發明（設計）人: 孫翔
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

1.一種文本分類方法，其特征在于，包括：

將待分類文檔進行分詞，對分詞得到的各詞匯進行組合，得到待分類文檔詞匯組集合，其中，待分類文檔詞匯組集合中的各詞匯組包括至少兩個詞匯；

統計所述待分類文檔詞匯組集合中各詞匯組的詞頻；

從預先獲得的詞匯組向量中提取所述待分類文檔詞匯組集合中的各詞匯組的向量，其中，所述預先獲得詞匯組向量是預先將具有確定類別的樣本文檔進行分詞，對分詞得到的各詞匯進行組合，得到樣本文檔詞匯組集合，統計所述樣本文檔詞匯組集合中各詞匯組的詞頻，將同一詞匯組在各樣本文檔類別中的詞頻組成詞頻向量，對所述詞頻向量進行歸一化處理，得到詞匯組向量，其中，樣本文檔詞匯組集合中各詞匯組包括至少兩個詞匯；

將待分類文檔中各詞匯組的詞頻作為詞匯組的向量數，對上述提取的各詞匯組的所有向量求和，得到總分類向量；

對所述總分類向量進行預置分類算法的處理，得到待分類文檔的分類結果。

2.根據權利要求1所述的文本分類方法，其特征在于，所述將具有確定類別的樣本文檔進行分詞，對分詞得到的各詞匯進行組合，得到樣本文檔詞匯組集合包括：

將樣本文檔進行分詞，得到樣本文檔中的所有詞匯；

將得到的詞匯進行兩兩組合，得到樣本文檔詞匯組集合，其中，各樣本文檔詞匯組都包括兩個詞匯。

3.根據權利要求1所述的文本分類方法，其特征在于，所述統計樣本文檔詞匯組集合中各詞匯組的詞頻包括：

統計樣本文檔中單個詞匯的詞頻；

根據所述樣本文檔詞匯組集合的各詞匯組中單個詞匯的詞頻，計算得到所述樣本文檔詞匯組集合的各詞匯組的詞頻。

4.根據權利要求1所述的文本分類方法，其特征在于，所述將待分類文檔進行分詞，對分詞得到的各詞匯進行組合，得到待分類文檔詞匯組集合包括：

將待分類文檔進行分詞，得到待分類文檔中的所有詞匯；

將得到的詞匯進行兩兩組合，得到待分類文檔詞匯組集合，其中，各待分類文檔詞匯組都包括兩個詞匯。

5.根據權利要求1所述的文本分類方法，其特征在于，所述統計待分類文檔詞匯組集合中各詞匯組的詞頻包括：

統計待分類文檔中單個詞匯的詞頻；

根據所述待分類文檔詞匯組集合的各詞匯組中單個詞匯的詞頻，計算得到所述待分類文檔詞匯組集合的各詞匯組的詞頻。

6.根據權利要求1-5中的任意一項所述的文本分類方法，其特征在于，在得到待分類文檔詞匯組集合后，對所述待分類文檔詞匯組集合中的詞匯組進行篩選，

則所述統計待分類文檔詞匯組集合中各詞匯組的詞頻，從預先獲得的詞匯組向量中提取所述待分類文檔詞匯組集合中的各詞匯組的向量包括：統計經篩選后得到的詞匯組的詞頻，從預先獲得的詞匯組向量中提取所述待分類文檔詞匯組集合中經篩選后得到的詞匯組的向量。

7.一種文本分類裝置，其特征在于，包括：

詞匯組合模塊，用于將待分類文檔進行分詞，對分詞得到的各詞匯進行組合，得到待分類文檔詞匯組集合，其中，待分類文檔詞匯組集合中的各詞匯組包括至少兩個詞匯；

詞頻統計模塊，用于統計所述待分類文檔詞匯組集合中各詞匯組的詞頻；

向量提取模塊，用于從預先獲得的詞匯組向量中提取所述待分類文檔詞匯組集合中的各詞匯組的向量，其中，所述預先獲得詞匯組向量是預先將具有確定類別的樣本文檔進行分詞，對分詞得到的各詞匯進行組合，得到樣本文檔詞匯組集合，統計所述樣本文檔詞匯組集合中各詞匯組的詞頻，將同一詞匯組在各樣本文檔類別中的詞頻組成詞頻向量，對所述詞頻向量進行歸一化處理，得到詞匯組向量，其中，樣本文檔詞匯組集合中各詞匯組包括至少兩個詞匯；

向量求和模塊，用于將待分類文檔中各詞匯組的詞頻作為詞匯組的向量數，對上述提取的各詞匯組的所有向量求和，得到總分類向量；

分類模塊，用于對所述總分類向量進行預置分類算法的處理，得到待分類文檔的分類結果。

8.根據權利要求7所述的文本分類裝置，其特征在于，所述詞匯組合模塊包括：

分詞子模塊，用于將待分類文檔進行分詞，得到待分類文檔中的所有詞匯；

詞匯組組合子模塊，用于將得到的詞匯進行兩兩組合，得到待分類文檔詞匯組集合，其中，各待分類文檔詞匯組都包括兩個詞匯。