[發(fā)明專利]用于分類數(shù)據(jù)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710517316.1
• 申請(qǐng)日: 2017-06-29
• 公開(kāi)（公告）號(hào): CN107229614B
• 公開(kāi)（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 戴明洋
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/247;G06F16/35
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)公開(kāi)了用于分類數(shù)據(jù)的方法和裝置。方法的一具體實(shí)施方式包括：對(duì)原始數(shù)據(jù)進(jìn)行分詞，得到原始樣本集；基于文檔主題生成模型，將原始樣本集聚類至預(yù)定數(shù)量的主題；查詢預(yù)設(shè)的領(lǐng)域表征詞是否命中從主題提取的主題表征詞，若是，則將主題表征詞歸類至領(lǐng)域表征詞所表征的領(lǐng)域；基于領(lǐng)域中的主題表征詞，確定領(lǐng)域的初始樣本集。該實(shí)施方式由于類別內(nèi)部的樣本多樣性好，提高了初始樣本集的準(zhǔn)確率，增強(qiáng)了對(duì)于未知樣本的分類能力。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及用于分類數(shù)據(jù)的方法和裝置。

背景技術(shù)

在處理上千億的文本數(shù)據(jù)，為文本分類模型準(zhǔn)備質(zhì)量較高的訓(xùn)練數(shù)據(jù)時(shí)，也即為無(wú)類別信息的用戶搜索Query及點(diǎn)擊Title這樣的原始數(shù)據(jù)設(shè)計(jì)學(xué)習(xí)方法時(shí)，可以為其打上相應(yīng)的類別標(biāo)簽，再通過(guò)設(shè)計(jì)過(guò)濾方法及增補(bǔ)方法來(lái)保證各類樣本的純度及數(shù)量，從而為用戶畫(huà)像的興趣屬性分類問(wèn)題，挖掘訓(xùn)練樣本，也即對(duì)用于用戶畫(huà)像的數(shù)據(jù)進(jìn)行分類。

目前，對(duì)用于用戶畫(huà)像的數(shù)據(jù)進(jìn)行分類的方法，可以采用人工審查的方法，或者采用編制領(lǐng)域?qū)Ｃ~匯來(lái)匹配日志的方法，抓取或過(guò)濾出各類別的樣本。

然而，目前的這種對(duì)用于用戶畫(huà)像的數(shù)據(jù)進(jìn)行分類的方法，采用人工審查的方法的成本太大，而且不同的人，對(duì)類別的定義標(biāo)準(zhǔn)不穩(wěn)定；采用編制領(lǐng)域?qū)Ｃ~匯的方法，雖然由于數(shù)據(jù)量基數(shù)較大，可以在數(shù)量上得以保證，但在類別內(nèi)部的樣本多樣性上欠缺，并且指定專名的個(gè)數(shù)也較少，且不易更新。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提出一種改進(jìn)的用于分類數(shù)據(jù)的方法和裝置，來(lái)解決以上背景技術(shù)部分提到的技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種用于分類數(shù)據(jù)的方法，方法包括：對(duì)原始數(shù)據(jù)進(jìn)行分詞，得到原始樣本集；基于文檔主題生成模型，將原始樣本集聚類至預(yù)定數(shù)量的主題；查詢預(yù)設(shè)的領(lǐng)域表征詞是否命中從主題提取的主題表征詞，若是，則將主題表征詞歸類至領(lǐng)域表征詞所表征的領(lǐng)域；基于領(lǐng)域中的主題表征詞，確定領(lǐng)域的初始樣本集。

在一些實(shí)施例中，基于領(lǐng)域中的主題表征詞，確定領(lǐng)域的初始樣本集包括：采用領(lǐng)域關(guān)鍵詞以及反詞典，過(guò)濾領(lǐng)域中的主題表征詞；將過(guò)濾后的領(lǐng)域中的主題表征詞對(duì)應(yīng)的原始樣本集，確定為領(lǐng)域的初始樣本集。

在一些實(shí)施例中，將過(guò)濾后的領(lǐng)域中的主題表征詞對(duì)應(yīng)的原始樣本集，確定為領(lǐng)域的初始樣本集包括：基于過(guò)濾后的領(lǐng)域中的主題表征詞，經(jīng)由文檔主題生成模型對(duì)主題-詞映射矩陣的解析，確定初始樣本的主題；基于初始樣本的主題，經(jīng)由文檔主題生成模型對(duì)文檔-主題映射矩陣的解析，得到領(lǐng)域的初始樣本集。

在一些實(shí)施例中，方法還包括：對(duì)初始樣本集進(jìn)行多分類器投票過(guò)濾，直至單次舍棄掉的樣本的數(shù)量小于預(yù)定閾值；將舍棄掉樣本后的初始樣本集確定為標(biāo)準(zhǔn)樣本集。

在一些實(shí)施例中，多分類器投票過(guò)濾包括：將初始樣本集拆分為訓(xùn)練集和測(cè)試集；采用訓(xùn)練集，分別訓(xùn)練多個(gè)分類器；采用測(cè)試集，分別驗(yàn)證分類器；響應(yīng)于驗(yàn)證結(jié)果統(tǒng)一并且正確的分類器占多個(gè)分類器的比例小于預(yù)定比例，舍棄測(cè)試集中的樣本；采用舍棄掉樣本后的初始樣本集，更新進(jìn)行多分類器投票過(guò)濾的初始樣本集。

在一些實(shí)施例中，從主題提取的主題表征詞包括：采用以下一項(xiàng)或多項(xiàng)從主題提取的主題表征詞：文檔主題生成模型、文本關(guān)鍵詞提取算法以及詞頻-逆向文件頻率算法。

在一些實(shí)施例中，從主題提取的主題表征詞包括以下一項(xiàng)或多項(xiàng)：對(duì)主題表征詞去停用詞；以及對(duì)主題表征詞去與本詞相關(guān)性低于預(yù)定閾值的詞。

在一些實(shí)施例中，原始數(shù)據(jù)包括：用戶搜索查詢數(shù)據(jù)和/或用戶點(diǎn)擊標(biāo)題數(shù)據(jù)。