[發(fā)明專(zhuān)利]一種大數(shù)據(jù)分類(lèi)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710646320.8
• 申請(qǐng)日: 2017-08-01
• 公開(kāi)（公告）號(hào): CN107590179A
• 公開(kāi)（公告）日: 2018-01-16
• 發(fā)明（設(shè)計(jì)）人: 徐秋養(yǎng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 佛山市深研信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 佛山市智匯聚晨專(zhuān)利代理有限公司44409
• 代理人: 張艷梅

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)分類(lèi)處理方法。

背景技術(shù)

隨著移動(dòng)網(wǎng)絡(luò)和移動(dòng)終端的發(fā)展，網(wǎng)絡(luò)端中資訊的發(fā)布數(shù)量也呈爆發(fā)式增長(zhǎng)，人們通過(guò)網(wǎng)絡(luò)獲取資訊也越來(lái)越方便，如瀏覽新聞、看電影、玩游戲、搜索、購(gòu)物、發(fā)布信息等。

但是，大量的數(shù)據(jù)資源如果不能夠準(zhǔn)確的分類(lèi)，那么在閱讀數(shù)據(jù)資源時(shí)將花費(fèi)較多時(shí)間與精力，例如，對(duì)金融領(lǐng)域來(lái)說(shuō)，由于金融資訊篇幅較長(zhǎng)并且資訊中有較多的專(zhuān)業(yè)術(shù)語(yǔ)，若不是該領(lǐng)域的從業(yè)者，通常很難充分理解資訊中提及的關(guān)鍵內(nèi)容，即分類(lèi)標(biāo)簽。而目前分類(lèi)標(biāo)簽通常是用戶(hù)在上傳資源時(shí)手動(dòng)輸入的，不同的用戶(hù)行業(yè)經(jīng)驗(yàn)可能存在較大的差異，因此輸入的分類(lèi)標(biāo)簽具有較強(qiáng)的主觀性，造成數(shù)據(jù)分類(lèi)的準(zhǔn)確度低下。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種大數(shù)據(jù)分類(lèi)處理方法，提高了數(shù)據(jù)分類(lèi)的準(zhǔn)確度。

為達(dá)到上述目的，本發(fā)明實(shí)施例公開(kāi)了一種大數(shù)據(jù)分類(lèi)處理方法，所述方法包括：

獲得目標(biāo)資訊組，所述目標(biāo)資訊組中包含至少兩條目標(biāo)資訊；

對(duì)所述目標(biāo)資訊組中每一目標(biāo)資訊進(jìn)行數(shù)據(jù)清洗，得到針對(duì)每一目標(biāo)資訊的純文本資訊；

對(duì)每一所述純文本資訊進(jìn)行關(guān)鍵詞提取，將提取到的關(guān)鍵詞作為分類(lèi)標(biāo)簽；

根據(jù)所述分類(lèi)標(biāo)簽，對(duì)所述目標(biāo)資訊組中包含的目標(biāo)資訊進(jìn)行分類(lèi)，得到分類(lèi)結(jié)果。

可選的，所述對(duì)所述目標(biāo)資訊組中每一目標(biāo)資訊進(jìn)行數(shù)據(jù)清洗，得到針對(duì)每一目標(biāo)資訊的純文本資訊，包括：

分別對(duì)所述目標(biāo)資訊組中每一目標(biāo)資訊中的HTML標(biāo)簽和/或圖像進(jìn)行過(guò)濾，得到針對(duì)每一目標(biāo)資訊的純文本資訊。

可選的，所述對(duì)每一所述純文本資訊進(jìn)行關(guān)鍵詞提取，將提取到的關(guān)鍵詞作為分類(lèi)標(biāo)簽，包括：

利用詞頻-逆向文件頻率TF-IDF算法，對(duì)第一處理資訊中包含的詞語(yǔ)進(jìn)行權(quán)重計(jì)算，得到每一詞語(yǔ)的權(quán)重值，所述第一處理資訊為：采用預(yù)設(shè)的分詞庫(kù)對(duì)所述純文本資訊中包含的無(wú)關(guān)詞進(jìn)行過(guò)濾后得到的資訊，所述無(wú)關(guān)詞為與所述目標(biāo)資訊所屬領(lǐng)域無(wú)關(guān)的詞語(yǔ)；

將第一詞語(yǔ)序列的前第一預(yù)設(shè)數(shù)量個(gè)詞語(yǔ)作為分類(lèi)標(biāo)簽，所述第一詞語(yǔ)序列為按照詞語(yǔ)的權(quán)重值從大到小排列的詞語(yǔ)序列。

可選的，所述方法還包括：

針對(duì)所述目標(biāo)資訊組中每一目標(biāo)資訊，基于該目標(biāo)資訊對(duì)應(yīng)關(guān)鍵詞的權(quán)重值以及該目標(biāo)資訊的發(fā)布時(shí)間，計(jì)算該目標(biāo)資訊的熱度。

可選的，所述方法還包括：

針對(duì)所述目標(biāo)資訊組中所有目標(biāo)資訊對(duì)應(yīng)的關(guān)鍵詞進(jìn)行向量化，生成針對(duì)所述目標(biāo)資訊組的文本向量空間，所述文本向量空間中每一維向量均對(duì)應(yīng)一個(gè)關(guān)鍵詞；

基于所述文本向量空間，對(duì)每一目標(biāo)資訊的關(guān)鍵詞進(jìn)行聚類(lèi)，得到第一數(shù)量的類(lèi)簇；

將每一類(lèi)簇的第二詞語(yǔ)序列的前第二預(yù)設(shè)數(shù)量個(gè)關(guān)鍵詞作為該類(lèi)簇的代表詞，所述第二詞語(yǔ)序列為按照關(guān)鍵詞對(duì)應(yīng)的權(quán)重值從大到小排列的詞語(yǔ)序列。

可選的，所述方法還包括：

將所述分類(lèi)結(jié)果推送至顯示界面，所述顯示界面為展示資訊內(nèi)容的界面。

綜上可見(jiàn)，本發(fā)明實(shí)施例提供的方案中，在獲得目標(biāo)資訊組之后，對(duì)目標(biāo)資訊組中每一目標(biāo)資訊進(jìn)行數(shù)據(jù)清洗，得到針對(duì)每一目標(biāo)資訊的純文本資訊；對(duì)每一純文本資訊進(jìn)行關(guān)鍵詞提取，將提取到的關(guān)鍵詞作為分類(lèi)標(biāo)簽；根據(jù)分類(lèi)標(biāo)簽，對(duì)目標(biāo)資訊組中包含的目標(biāo)資訊進(jìn)行分類(lèi)，得到分類(lèi)結(jié)果。應(yīng)用本發(fā)明實(shí)施例提供的方案，提高了數(shù)據(jù)分類(lèi)的準(zhǔn)確度。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)分類(lèi)處理方法的流程示意圖。

圖2為本發(fā)明實(shí)施例提供的另一種大數(shù)據(jù)分類(lèi)處理方法的流程示意圖。

圖3為本發(fā)明實(shí)施例提供的再一種大數(shù)據(jù)分類(lèi)處理方法的流程示意圖。

圖4為本發(fā)明實(shí)施例提供的還一種大數(shù)據(jù)分類(lèi)處理方法的流程示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

下面通過(guò)具體實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)的說(shuō)明。