[發(fā)明專利]一種網(wǎng)絡(luò)社區(qū)話題分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811062800.0
• 申請(qǐng)日: 2018-09-12
• 公開（公告）號(hào): CN109446393B
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 吳旭;黨習(xí)歌;頡夏青
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/332;G06F16/35;G06F40/284;G06Q50/00
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

本發(fā)明公開了一種網(wǎng)絡(luò)社區(qū)話題分類方法及裝置，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。所述方法包括：收集網(wǎng)絡(luò)社區(qū)話題語料并確定對(duì)應(yīng)的類別標(biāo)記，對(duì)收集的話題語料進(jìn)行預(yù)處理后作為樣本集；根據(jù)類別標(biāo)記和樸素貝葉斯算法構(gòu)造樣本集錯(cuò)分的代價(jià)敏感矩陣；基于代價(jià)敏感矩陣對(duì)樣本集進(jìn)行訓(xùn)練得到分類器；使用分類器對(duì)網(wǎng)絡(luò)社區(qū)文本進(jìn)行分類。本發(fā)明中，通過構(gòu)造代價(jià)敏感矩陣，并在分類器的訓(xùn)練過程中，將代價(jià)敏感引入隨機(jī)森林，為各類別加入錯(cuò)分代價(jià)，且以錯(cuò)分代價(jià)最小為目的進(jìn)行分類器訓(xùn)練，從而在保證了分類器性能的前提下，有效的解決了由于數(shù)據(jù)不均衡帶來的分類準(zhǔn)確率低的問題，進(jìn)而為網(wǎng)絡(luò)社區(qū)話題的分析和監(jiān)管提供了有利基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)社區(qū)話題分類方法及裝置。

背景技術(shù)

上世紀(jì)六十年代初，互聯(lián)網(wǎng)急速發(fā)展，而中國在用戶規(guī)模和信息資源上都位居前列。如今，互聯(lián)網(wǎng)開始逐漸向人們的日常生活、工作和休閑娛樂中深入，這對(duì)于信息化的發(fā)展起到極大的推動(dòng)作用，人們?cè)诮舆B不斷的從互聯(lián)網(wǎng)上接收獲取數(shù)據(jù)的同時(shí)，開始創(chuàng)建和分享信息。網(wǎng)絡(luò)社區(qū)提供了一個(gè)網(wǎng)友間彼此溝通討論、進(jìn)行信息共享的平臺(tái)，網(wǎng)絡(luò)社區(qū)是指包括論壇、貼吧、公告欄、在線聊天、互動(dòng)交友及無線增值服務(wù)等形式在內(nèi)的網(wǎng)上交流空間。由于網(wǎng)絡(luò)社區(qū)的開放性強(qiáng)，用戶群體廣泛，因而成為廣大網(wǎng)民信息交流的重要平臺(tái)和言論傳播的有效載體，同時(shí)也成為網(wǎng)絡(luò)輿論情況的重要來源。

網(wǎng)絡(luò)輿論情況不止是廣大網(wǎng)民的態(tài)度、觀點(diǎn)、情感的傳播、表達(dá)與互動(dòng)，還直接反映著社會(huì)中的輿論情況，群眾的不良情緒極有可能是對(duì)網(wǎng)絡(luò)輿論情況中突發(fā)事件的不恰當(dāng)處理激發(fā)而來，從而引發(fā)群眾作出違反規(guī)定或者過于激動(dòng)的舉動(dòng)，甚至對(duì)社會(huì)穩(wěn)定造成威脅，因而對(duì)網(wǎng)絡(luò)社區(qū)話題進(jìn)行有效分類和分析，對(duì)輿論情況監(jiān)管具有重大意義。

然而，網(wǎng)絡(luò)社區(qū)中大量用戶對(duì)熱點(diǎn)話題的集中討論極易造成數(shù)據(jù)的不均衡，目前已有的分類方法中，均不能很好的解決數(shù)據(jù)不均衡問題，從而造成一些數(shù)據(jù)的分類不準(zhǔn)確。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，本發(fā)明提供一種網(wǎng)絡(luò)社區(qū)話題分類方法及裝置。

第一方面，本發(fā)明提供一種網(wǎng)絡(luò)社區(qū)話題分類方法，其特征在于，包括：

收集網(wǎng)絡(luò)社區(qū)話題語料并確定對(duì)應(yīng)的類別標(biāo)記，對(duì)收集的話題語料進(jìn)行預(yù)處理后作為樣本集；

根據(jù)所述類別標(biāo)記和樸素貝葉斯算法構(gòu)造所述樣本集錯(cuò)分的代價(jià)敏感矩陣；

基于所述代價(jià)敏感矩陣對(duì)所述樣本集進(jìn)行訓(xùn)練得到分類器；

使用所述分類器對(duì)網(wǎng)絡(luò)社區(qū)文本進(jìn)行分類。

可選地，所述對(duì)收集的話題語料進(jìn)行預(yù)處理后作為樣本集，包括：

對(duì)收集的話題語料進(jìn)行分詞得到各詞匯；

去除得到的各詞匯中的停用詞得到各有效詞匯；

計(jì)算各有效詞匯的特征值；

根據(jù)各有效詞匯的特征值，對(duì)所述收集的話題語料進(jìn)行向量化處理得到文本矩陣并作為樣本集。

可選地，所述根據(jù)所述類別標(biāo)記和樸素貝葉斯算法構(gòu)造所述樣本集錯(cuò)分的代價(jià)敏感矩陣，具體包括：

根據(jù)所述樣本集中各樣本的類別標(biāo)記統(tǒng)計(jì)類別總數(shù)，并計(jì)算各類別的先驗(yàn)概率；

根據(jù)所述先驗(yàn)概率分別計(jì)算各樣本屬于各類別的后驗(yàn)概率；

對(duì)所述后驗(yàn)概率進(jìn)行變換作為對(duì)應(yīng)樣本錯(cuò)分的代價(jià)敏感值；

根據(jù)所述代價(jià)敏感值構(gòu)造代價(jià)敏感矩陣。

可選地，所述基于所述代價(jià)敏感矩陣對(duì)所述樣本集進(jìn)行訓(xùn)練得到分類器，包括：

根據(jù)所述代價(jià)敏感矩陣中的各代價(jià)敏感值確定各樣本對(duì)應(yīng)的基尼系數(shù)；