[發(fā)明專利]分類器生成方法、分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711217129.8
• 申請(qǐng)日: 2017-11-28
• 公開（公告）號(hào): CN107992887B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 鄒榮珠
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 薛嬌;王寶筠

本發(fā)明實(shí)施例公開了一種分類器生成方法、分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，將特征向量集合對(duì)應(yīng)的特征集劃分為多個(gè)子特征集，依據(jù)多個(gè)子特征集中的特征，將特征向量集合中的特征向量劃分為分別與每個(gè)子特征集對(duì)應(yīng)的子特征向量集合，對(duì)應(yīng)每個(gè)子特征向量集合建立初始分類器，對(duì)初始分類器進(jìn)行協(xié)同訓(xùn)練，得到半監(jiān)督分類器。也就是說，不同的分類器使用同一特征向量的不同的子特征向量進(jìn)行訓(xùn)練，因此，所生成的分類器利用了相同數(shù)據(jù)的不同特征之間差異，提高了半監(jiān)督分類方法的分類效果的穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更具體地說，涉及一種分類器生成方法、分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

分類問題是數(shù)據(jù)分析和數(shù)據(jù)挖掘等領(lǐng)域中的熱點(diǎn)問題之一。數(shù)據(jù)分類通常分為模型訓(xùn)練和類別預(yù)測(cè)兩個(gè)步驟，即先由標(biāo)記好類別的數(shù)據(jù)訓(xùn)練分類模型，然后根據(jù)分類模型預(yù)測(cè)新數(shù)據(jù)的類別。然而，大量標(biāo)記好類別的數(shù)據(jù)是很難獲取的，因?yàn)楂@得這些標(biāo)記需要耗費(fèi)大量的人力物力。事實(shí)上，在真實(shí)世界中通常存在大量的無標(biāo)記數(shù)據(jù)，有標(biāo)記數(shù)據(jù)則比較少。為此，研究者提出半監(jiān)督分類方法，它主要考慮如何利用少量的有標(biāo)記數(shù)據(jù)和大量的無標(biāo)記數(shù)據(jù)進(jìn)行模型訓(xùn)練和類別預(yù)測(cè)的問題。

通常，半監(jiān)督分類方法根據(jù)使用的分類器的數(shù)量，分為單分類器方法和多分類器方法。多分類器方法由于可以利用分類器之間的差異(即分類器所使用分類算法的差異)使得分類器具有較強(qiáng)的分類能力和較快的收斂速度而應(yīng)用更廣。

然而，發(fā)明人在實(shí)現(xiàn)本申請(qǐng)過程中發(fā)現(xiàn)，現(xiàn)有的使用多分類器的半監(jiān)督分類方法的分類效果不穩(wěn)定。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種分類器生成方法、分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以提高半監(jiān)督分類方法的分類效果的穩(wěn)定性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：

一種分類器生成方法，包括：

將文本數(shù)據(jù)集的特征向量集合對(duì)應(yīng)的特征集劃分為多個(gè)子特征集，所述特征向量集合中包括有標(biāo)記文本數(shù)據(jù)的特征向量和無標(biāo)記文本數(shù)據(jù)的特征向量；

依據(jù)所述多個(gè)子特征集中的特征，將所述特征向量集合中的特征向量進(jìn)行劃分，得到分別與每個(gè)子特征集對(duì)應(yīng)的子特征向量集合；

利用所述子特征向量集合中的有標(biāo)記文本數(shù)據(jù)的子特征向量對(duì)預(yù)設(shè)分類模型進(jìn)行訓(xùn)練，得到所述子特征向量集合對(duì)應(yīng)的初始分類器；

利用子特征向量集合中的有標(biāo)記文本數(shù)據(jù)的子特征向量和無標(biāo)記文本數(shù)據(jù)的子特征向量，將得到的初始分類器進(jìn)行協(xié)同訓(xùn)練，得到半監(jiān)督分類器。

上述方法，優(yōu)選的，所述將特征向量集合對(duì)應(yīng)的特征集劃分為多個(gè)子特征集，包括：

獲取各個(gè)特征對(duì)類別的貢獻(xiàn)度，所述類別為有標(biāo)記文本數(shù)據(jù)被標(biāo)記出的類別；

基于所述貢獻(xiàn)度，將所述特征向量集合對(duì)應(yīng)的特征集劃分為多個(gè)子特征集。

上述方法，優(yōu)選的，所述特征對(duì)類別的貢獻(xiàn)度，包括：

與有標(biāo)記文本數(shù)據(jù)被標(biāo)記的類別對(duì)應(yīng)的特征權(quán)重；

或者，

與有標(biāo)記文本數(shù)據(jù)被標(biāo)記的所有類別對(duì)應(yīng)的特征得分，所述特征得分用于表征，特征與所有有標(biāo)記文本數(shù)據(jù)被標(biāo)記為所屬類別這一結(jié)果的關(guān)聯(lián)度，以及特征與其它特征之間的關(guān)聯(lián)度。

上述方法，優(yōu)選的，所述獲取各個(gè)特征對(duì)類別的貢獻(xiàn)度，包括：

若所述特征集中特征的數(shù)量大于或等于預(yù)設(shè)閾值，獲取各個(gè)特征對(duì)類別的第一貢獻(xiàn)度，所述第一貢獻(xiàn)度為，與有標(biāo)記文本數(shù)據(jù)被標(biāo)記的類別對(duì)應(yīng)的特征權(quán)重；