[發(fā)明專利]一種獲取層級分類器以及文本分類的方法及裝置

在審

• 申請?zhí)枺?/td>: 201410134704.8
• 申請日: 2014-04-03
• 公開（公告）號: CN104978328A
• 公開（公告）日: 2015-10-14
• 發(fā)明（設(shè)計）人: 母亦翔
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)信息領(lǐng)域，尤其涉及一種獲取層級分類器以及進(jìn)行文本分類的方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)在全球范圍內(nèi)的快速發(fā)展，人們面臨的信息呈指數(shù)增加。面對紛繁蕪雜的信息，如何能夠快速、準(zhǔn)確全面獲取到所需要的信息已經(jīng)成為人們急切要解決的問題。

目前，針對眾多紛繁的信息主要是以通過分類器來實現(xiàn)數(shù)據(jù)分類，以用在用戶檢索或搜索數(shù)據(jù)時可以快速獲取到所需要的數(shù)據(jù)信息。所謂分類器（Classifier），是可以將獲取到的數(shù)據(jù)分放到預(yù)設(shè)的各類別中。而現(xiàn)有技術(shù)中，對海量數(shù)據(jù)處理的方式中，一種方式是，利用詞頻匹配技術(shù)建立分類器。另一種方式是，采用機(jī)器學(xué)習(xí)的方式建立分類器。基于這兩種方式來實現(xiàn)海量數(shù)據(jù)的檢索、插入、索引、過濾等處理。

例如，在廣告檢索系統(tǒng)中，利用詞頻匹配建立分類器的方式實現(xiàn)檢索功能。其主要依靠廣告商在注冊的時候所提供的廣告所屬行業(yè)、標(biāo)識、關(guān)鍵詞等相關(guān)信息，并將這些廣告信息劃歸到所確定的該廣告所屬類別標(biāo)簽下。進(jìn)而通過簡單的詞頻統(tǒng)計，為每個類別選定一個種子詞表。從而可以利用詞頻匹配技術(shù)，確定文本的分類結(jié)果。然而，該方式完全依賴原始注冊信息進(jìn)行詞頻分析，這樣往往因應(yīng)用環(huán)境及時間變化會造成大量無關(guān)的詞。因此，直接影響分類器數(shù)據(jù)的準(zhǔn)確性，以及影響線上相關(guān)性，降低用戶體驗。或者，在該廣告檢索系統(tǒng)中，采用機(jī)器學(xué)習(xí)的方式建立分類器。即，將所有廣告類別（或廣告行業(yè)）都放在同一層次，即餐飲、服裝等所有行業(yè)都放到同一級別上。每次確定出某一文本的分類結(jié)果，給出包括所有行業(yè)都在內(nèi)的概率分布。盡管機(jī)器學(xué)習(xí)的方式比基于詞頻匹配的方式準(zhǔn)確性和召回率都有所提高，但是，這種不分層的分類器，無論訓(xùn)練還是預(yù)測或檢索準(zhǔn)確率低，并且擴(kuò)展性差。比如，當(dāng)數(shù)據(jù)類別不斷擴(kuò)展時，訓(xùn)練和預(yù)測的時候需要存儲的權(quán)值向量會線性增長，此時系統(tǒng)就無法支持更大規(guī)模的分類。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種，以解決現(xiàn)有技術(shù)存在的問題，其中：

依據(jù)本發(fā)明的第一方面，提供了一種獲取層級分類器的方法，包括：建立層級分類器的層級類別結(jié)構(gòu)，所述層級類別結(jié)構(gòu)包含多層，其中每一層包含一個或多個類別節(jié)點，其中層級類別結(jié)構(gòu)的每個分支結(jié)束的最末一個類別節(jié)點被定義為葉子節(jié)點，其他類別節(jié)點被定義為樹干節(jié)點；依據(jù)所述層級類別結(jié)構(gòu)對訓(xùn)練樣本進(jìn)行標(biāo)注，以獲取各個樹干節(jié)點處的分類器模型的標(biāo)注數(shù)據(jù)；提取訓(xùn)練樣本的特征信息，所述特征信息包含至少一個特征項；在各個樹干節(jié)點處，通過分類器訓(xùn)練器利用相應(yīng)樹干節(jié)點的標(biāo)注數(shù)據(jù)與該訓(xùn)練樣本的特征信息進(jìn)行訓(xùn)練并獲取相應(yīng)樹干節(jié)點的分類器模型，并且與各個樹干節(jié)點相應(yīng)的分類器模型形成具有層級類別結(jié)構(gòu)的層級分類器。

根據(jù)本發(fā)明的方法，通過最大熵算法來在各個樹干節(jié)點處通過分類器訓(xùn)練器利用相應(yīng)樹干節(jié)點的標(biāo)注數(shù)據(jù)與特征信息進(jìn)行訓(xùn)練并獲取相應(yīng)樹干節(jié)點的分類器模型。

根據(jù)本發(fā)明的方法，在各個樹干節(jié)點處通過分類器訓(xùn)練器利用相應(yīng)樹干節(jié)點的標(biāo)注數(shù)據(jù)與特征信息進(jìn)行訓(xùn)練并獲取相應(yīng)樹干節(jié)點的分類器模型進(jìn)一步包括：在各個樹干節(jié)點處將相應(yīng)樹干節(jié)點的特征信息與標(biāo)注數(shù)據(jù)輸入分類器訓(xùn)練器；使用最大熵算法利用相應(yīng)樹干節(jié)點的標(biāo)注數(shù)據(jù)和特征信息在分類器訓(xùn)練器中進(jìn)行訓(xùn)練以獲取相應(yīng)節(jié)點處的分類器模型。

根據(jù)本發(fā)明的方法，依據(jù)所述層級類別結(jié)構(gòu)對訓(xùn)練樣本進(jìn)行標(biāo)注，以獲取各個樹干節(jié)點處的分類器模型的標(biāo)注數(shù)據(jù)的步驟，進(jìn)一步包括：基于層級類別結(jié)構(gòu)，分別選擇與各個樹干節(jié)點相關(guān)的種子詞；基于所述種子詞并通過迭代的方式獲取與各個樹干節(jié)點相關(guān)的訓(xùn)練樣本并進(jìn)行標(biāo)注以獲取各個分類器模型的標(biāo)注數(shù)據(jù)。

依據(jù)本發(fā)明的第二方面，提供了一種文本分類的方法，其特征在于，包括：分析待分類文本，以提取與待分類文本相關(guān)的特征信息；基于所述特征信息與相應(yīng)的特征值，利用層級類別結(jié)構(gòu)的根節(jié)點處的分類器模型在層級類別結(jié)構(gòu)的根節(jié)點處對所述待分類文本進(jìn)行分類，以獲取所述待分類文本屬于各個第一級類別節(jié)點處的各個第一級類別的概率值，其中，所述層級類別結(jié)構(gòu)是預(yù)先建立的；基于所述特征信息與相應(yīng)的特征值，在所述第n-1級類別概率值大于預(yù)設(shè)閾值的第n-1級類別節(jié)點處，利用該n-1級類別節(jié)點的分類器模型對所述待分類文本進(jìn)行分類，以獲取所述待分類文本在與該第n-1級類別節(jié)點相對應(yīng)的各個第n級類別節(jié)點處的各個第n級類別概率值，其中，n為大于等于2的整數(shù)；當(dāng)在類別概率值大于預(yù)設(shè)閾值的所有類別樹干節(jié)點處的分類都完成后，將分類終結(jié)的各級的各個類別終結(jié)節(jié)點處的概率值按照預(yù)定順序進(jìn)行排序，以確定所述分類文本所屬類別。