[發(fā)明專利]一種文本分類方法及計算裝置

有效

• 申請?zhí)枺?/td>: 201811158905.6
• 申請日: 2018-09-30
• 公開（公告）號: CN109284382B
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 徐樂樂
• 申請（專利權(quán)）人: 武漢斗魚網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 徐松

本申請實(shí)施例公開了一種文本分類方法及計算裝置，用于解決不同類間樣本不均衡的問題以及特征篩選的問題，可以顯著提升模型的文本分類效果。本申請實(shí)施例方法包括：獲取當(dāng)前場景中N個顏值區(qū)的文本信息和M個游戲分區(qū)的文本信息，N和M為大于0的整數(shù)，N與M的差值的絕對值小于預(yù)置閾值；從所述N個顏值區(qū)的文本信息和所述M個游戲分區(qū)的文本信息中選擇A個文本信息；從所述第一特征、所述第二特征和所述第三特征中選擇至少兩個特征作為候選特征；根據(jù)所述候選特征和特征選擇公式，選擇信息增益最大的特征對決策樹的節(jié)點(diǎn)進(jìn)行分裂，生成隨機(jī)森林模型。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種文本分類方法及計算裝置。

背景技術(shù)

在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數(shù)而定。隨機(jī)森林實(shí)際上是一種特殊的套袋(bagging)方法，它將決策樹用作bagging中的模型。首先，用bootstrap方法生成m個訓(xùn)練集，然后，對于每個訓(xùn)練集，構(gòu)造一顆決策樹，在節(jié)點(diǎn)找特征進(jìn)行分裂的時候，并不是對所有特征找到能使得指標(biāo)(如信息增益)最大的，而是在特征中隨機(jī)抽取一部分特征，在抽到的特征中間找到最優(yōu)解，應(yīng)用于節(jié)點(diǎn)，進(jìn)行分裂。隨機(jī)森林的方法由于有了bagging，也就是集成的思想在，實(shí)際上相當(dāng)于對于樣本和特征都進(jìn)行了采樣。

但是，在做基于隨機(jī)森林算法的做文本分類任務(wù)時，會有兩個常見問題：1、類別間的樣本不均衡會導(dǎo)致分類的結(jié)果偏向類別樣本多的類別；2、特征的選取決定的算法的執(zhí)行速度及最終效果。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種文本分類方法及計算裝置，用于解決不同類間樣本不均衡的問題以及特征篩選的問題，可以顯著提升模型的文本分類效果。

有鑒于此，本申請第一方面提供了一種文本分類方法，可以包括：

獲取當(dāng)前場景中N個顏值區(qū)的文本信息和M個游戲分區(qū)的文本信息，N和M為大于0的整數(shù)，N與M的差值的絕對值小于預(yù)置閾值；

從所述N個顏值區(qū)的文本信息和所述M個游戲分區(qū)的文本信息中選擇A個文本信息，其中，所述A個文本信息中的每個文本信息包括第一特征、第二特征和第三特征，所述第一特征包括句子長度,所述第二特征包括句子中詞語最大逆文本頻率指數(shù)值，所述第三特征包括句子中詞語最大詞頻值；

從所述第一特征、所述第二特征和所述第三特征中選擇至少兩個特征作為候選特征；

根據(jù)所述候選特征和特征選擇公式，選擇信息增益最大的特征對決策樹的節(jié)點(diǎn)進(jìn)行分裂，生成隨機(jī)森林模型。

可選的，在本申請的一些實(shí)施例中，所述獲取當(dāng)前場景中N個顏值區(qū)的文本信息和M個游戲分區(qū)的文本信息之前，所述方法還包括：

獲取X1個顏值區(qū)的原文本信息；

當(dāng)X1與M的差值的絕對值大于所述預(yù)置閾值時，從所述X1個顏值區(qū)的原文本信息中選擇X2個顏值區(qū)的文本信息；

根據(jù)所述X2個顏值區(qū)的文本信息和樣本采樣公式，計算得到X3個顏值區(qū)的新文本信息；

確定所述X3個顏值區(qū)的新文本信息與所述X1個顏值區(qū)的原文本信息的和為所述N個顏值區(qū)的文本信息。

可選的，在本申請的一些實(shí)施例中，所述根據(jù)所述X2個顏值區(qū)的文本信息和樣本采樣公式，計算得到X3個顏值區(qū)的新文本信息，包括：

根據(jù)所述X2個顏值區(qū)的文本信息和歐式距離，確定X3個顏值區(qū)的近鄰文本信息；

根據(jù)所述X3個顏值區(qū)的近鄰文本信息和所述樣本采樣公式，計算得到所述X3個顏值區(qū)的新文本信息。

可選的，在本申請的一些實(shí)施例中，所述獲取當(dāng)前場景中N個顏值區(qū)的文本信息和M個游戲分區(qū)的文本信息之前，所述方法還包括：