[發明專利]一種獲取層級分類器以及文本分類的方法及裝置

在審

• 申請號: 201410134704.8
• 申請日: 2014-04-03
• 公開（公告）號: CN104978328A
• 公開（公告）日: 2015-10-14
• 發明（設計）人: 母亦翔
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種獲取層級分類器的方法，包括：

建立層級分類器的層級類別結構，所述層級類別結構包含多層，其中每一層包含一個或多個類別節點，其中層級類別結構的每個分支結束的最末一個類別節點被定義為葉子節點，其他類別節點被定義為樹干節點；

依據所述層級類別結構對訓練樣本進行標注，以獲取各個樹干節點處的分類器模型的標注數據；

提取訓練樣本的特征信息，所述特征信息包含至少一個特征項；

在各個樹干節點處，通過分類器訓練器利用相應樹干節點的標注數據與該訓練樣本的特征信息進行訓練并獲取相應樹干節點的分類器模型，并且與各個樹干節點相應的分類器模型形成具有層級類別結構的層級分類器。

2.根據權利要求1所述的方法，其中：通過最大熵算法來在各個樹干節點處通過分類器訓練器利用相應樹干節點的標注數據與特征信息進行訓練并獲取相應樹干節點的分類器模型。

3.根據權利要求1所述的方法，其特征在于，在各個樹干節點處通過分類器訓練器利用相應樹干節點的標注數據與特征信息進行訓練并獲取相應樹干節點的分類器模型進一步包括：

在各個樹干節點處將相應樹干節點的特征信息與標注數據輸入分類器訓練器；

使用最大熵算法利用相應樹干節點的標注數據和特征信息在分類器訓練器中進行訓練以獲取相應節點處的分類器模型。

4.根據權利要求1所述的方法，其特征在于，依據所述層級類別結構對訓練樣本進行標注，以獲取各個樹干節點處的分類器模型的標注數據的步驟，進一步包括：

基于層級類別結構，分別選擇與各個樹干節點相關的種子詞；

基于所述種子詞并通過迭代的方式獲取與各個樹干節點相關的訓練樣本并進行標注以獲取各個分類器模型的標注數據。

5.一種文本分類的方法，其特征在于，包括：

分析待分類文本，以提取與待分類文本相關的特征信息；

基于所述特征信息與相應的特征值，利用層級類別結構的根節點處的分類器模型在層級類別結構的根節點處對所述待分類文本進行分類，以獲取所述待分類文本屬于各個第一級類別節點處的各個第一級類別的概率值，其中，所述層級類別結構是預先建立的；

基于所述特征信息與相應的特征值，在所述第n-1級類別概率值大于預設閾值的第n-1級類別節點處，利用該n-1級類別節點的分類器模型對所述待分類文本進行分類，以獲取所述待分類文本在與該第n-1級類別節點相對應的各個第n級類別節點處的各個第n級類別概率值，其中，n為大于等于2的整數；

當在類別概率值大于預設閾值的所有類別樹干節點處的分類都完成后，將分類終結的各級的各個類別終結節點處的概率值按照預定順序進行排序，以確定所述分類文本所屬類別。

6.根據權利要求5所述的方法，其特征在于，所述各個節點的分類器模型是按照權利要求1-4任一項所述的方法而獲取的分類器模型。

7.根據權利要求5或6所述的方法，其特征在于，針對所述特征項，基于統計方法過濾冗余特征項。

8.一種獲取層級分類器的裝置，包括：

層級結構建立模塊，用于建立層級分類器的層級類別結構，所述層級類別結構包含多層，其中每一層包含一個或多個類別節點，其中層級類別結構的每個分支結束的最末一個類別節點被定義為葉子節點，其他類別節點被定義為樹干節點；

獲取模塊，用于依據所述層級類別結構對訓練樣本進行標注，以獲取各個樹干節點處的分類器模型的標注數據；

提取模塊，用于提取訓練樣本的特征信息，所述特征信息包含至少一個特征項；

訓練模塊，用于在各個樹干節點處，通過分類器訓練器利用相應樹干節點的標注數據與該訓練樣本的特征信息進行訓練并獲取相應樹干節點的分類器模型，并且與各個樹干節點相應的分類器模型形成具有層級類別結構的層級分類器。

9.根據權利要求8所述的裝置，其中：通過最大熵算法來在各個樹干節點處通過分類器訓練器利用相應樹干節點的標注數據與特征信息進行訓練并獲取相應樹干節點的分類器模型。

10.一種文本分類的裝置，包括：

文本分析模塊，用于分析待分類文本，以提取與待分類文本相關的特征信息；

第一分類模塊，用于基于所述特征信息與相應的特征值，利用層級類別結構的根節點處的分類器模型在層級類別結構的根節點處對所述待分類文本進行分類，以獲取所述待分類文本屬于各個第一級類別節點處的各個第一級類別的概率值，其中，所述層級類別結構是預先建立的；

第二分類模塊，用于基于所述特征信息與相應的特征值，在所述第n-1級類別概率值大于預設閾值的第n-1級類別節點處，利用該n-1級類別節點的分類器模型對所述待分類文本進行分類，以獲取所述待分類文本在與該第n-1級類別節點相對應的各個第n級類別節點處的各個第n級類別概率值，其中，n為大于等于2的整數；

確定模塊，用于當在類別概率值大于預設閾值的所有分類節點處的分類都完成后，將各級的各個類別節點處的概率值按照預定順序進行排序，以確定所述分類文本所屬類別。