[發(fā)明專利]一種文本并行數(shù)據(jù)挖掘系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110297825.4
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN113032522A
• 公開(kāi)（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 孫靖怡;張磊
• 申請(qǐng)（專利權(quán)）人: 聊城大學(xué)
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F16/31
• 代理公司: 北京睿智保誠(chéng)專利代理事務(wù)所(普通合伙) 11732
• 代理人: 龍濤

本發(fā)明公開(kāi)了一種文本并行數(shù)據(jù)挖掘系統(tǒng)及方法，其中系統(tǒng)包括：數(shù)據(jù)獲取模塊，所述數(shù)據(jù)獲取模塊用于獲取多個(gè)原始文本數(shù)據(jù)集；數(shù)據(jù)清洗模塊，所述數(shù)據(jù)清洗模塊用于對(duì)所述原始文本數(shù)據(jù)集進(jìn)行預(yù)處理，以得到對(duì)應(yīng)的多個(gè)關(guān)鍵詞條集；中央處理模塊，所述中央處理模塊用于根據(jù)所述關(guān)鍵詞條集的數(shù)量進(jìn)行解析，得到解析結(jié)果；線程配置模塊，所述線程配置模塊根據(jù)所述解析結(jié)果配置線程進(jìn)行處理；數(shù)據(jù)存儲(chǔ)模塊，所述數(shù)據(jù)存儲(chǔ)模塊用于實(shí)時(shí)存儲(chǔ)處理結(jié)果；本發(fā)明并行數(shù)據(jù)挖掘架構(gòu)擴(kuò)展了數(shù)據(jù)挖掘的應(yīng)用范圍，同時(shí)可根據(jù)需要優(yōu)先處理出現(xiàn)頻率較高的文本集。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘技術(shù)領(lǐng)域，更具體的說(shuō)是涉及一種文本并行數(shù)據(jù)挖掘系統(tǒng)及方法。

背景技術(shù)

目前，數(shù)據(jù)挖掘是人工智能和數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)問(wèn)題，所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的過(guò)程。而隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)頁(yè)上的文本信息增長(zhǎng)快速，如何索引、檢索、管理、挖掘網(wǎng)頁(yè)上的海量文本信息已成為計(jì)算機(jī)科學(xué)領(lǐng)域所面臨的一個(gè)巨大挑戰(zhàn)。

但是，現(xiàn)有的文本數(shù)據(jù)挖掘架構(gòu)大多采用復(fù)雜的數(shù)據(jù)算法，而且很少有數(shù)據(jù)挖掘系統(tǒng)中的數(shù)據(jù)挖掘算法實(shí)現(xiàn)了并行的方式，當(dāng)數(shù)據(jù)量特別大的時(shí)候，這種模式會(huì)導(dǎo)致處理效率較低且處理過(guò)程較為繁瑣。

因此，如何提供一種能夠解決上述問(wèn)題的文本數(shù)據(jù)挖掘系統(tǒng)是本領(lǐng)域技術(shù)人員亟需解決的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種文本并行數(shù)據(jù)挖掘系統(tǒng)及方法，并行數(shù)據(jù)挖掘架構(gòu)擴(kuò)展了數(shù)據(jù)挖掘的應(yīng)用范圍，同時(shí)可根據(jù)需要優(yōu)先處理出現(xiàn)頻率較高的文本集。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種文本并行數(shù)據(jù)挖掘系統(tǒng)，包括：

數(shù)據(jù)獲取模塊，所述數(shù)據(jù)獲取模塊用于獲取多個(gè)原始文本數(shù)據(jù)集；

數(shù)據(jù)清洗模塊，所述數(shù)據(jù)清洗模塊用于對(duì)所述原始文本數(shù)據(jù)集進(jìn)行預(yù)處理，以得到對(duì)應(yīng)的多個(gè)關(guān)鍵詞條集；

中央處理模塊，所述中央處理模塊用于根據(jù)所述關(guān)鍵詞條集的數(shù)量進(jìn)行解析，得到解析結(jié)果；

線程配置模塊，所述線程配置模塊根據(jù)所述解析結(jié)果配置線程進(jìn)行處理；

數(shù)據(jù)存儲(chǔ)模塊，所述數(shù)據(jù)存儲(chǔ)模塊用于實(shí)時(shí)存儲(chǔ)處理結(jié)果。

優(yōu)選的，還包括：遠(yuǎn)程通訊服務(wù)器，所述遠(yuǎn)程通訊服務(wù)器用于當(dāng)所述處理結(jié)果出現(xiàn)敏感詞匯時(shí)遠(yuǎn)程發(fā)送提示信息。

優(yōu)選的，所述中央處理模塊包括：

解析單元，所述解析單元用于分析多個(gè)所述關(guān)鍵詞條集得到對(duì)應(yīng)的文件大小，以及出現(xiàn)相同關(guān)鍵詞的概率；

調(diào)度單元，所述調(diào)度單元根據(jù)出現(xiàn)相同關(guān)鍵詞概率按照由大到小的順序排序，并綜合分析所述關(guān)鍵詞條集的文件大小對(duì)每個(gè)所述關(guān)鍵詞條集權(quán)重分配，得到對(duì)應(yīng)的排序結(jié)果。

優(yōu)選的，所述線程配置模塊包括：

線程負(fù)載獲取單元，所述線程負(fù)載獲取單元用于獲取當(dāng)前各個(gè)線程對(duì)應(yīng)的負(fù)載大小；

線程分配單元，所述線程分配單元用于根據(jù)所述線程的負(fù)載大小以及所述調(diào)度單元的所述排序結(jié)果對(duì)分配任務(wù)，并計(jì)算是否存在任務(wù)剩余量；

線程設(shè)置單元，所述線程設(shè)置單元用于根據(jù)所述任務(wù)剩余量大小判斷是否需要建立新線程。

優(yōu)選的，本發(fā)明還提供一種文本并行數(shù)據(jù)挖掘方法，包括：

步驟S1：利用所述數(shù)據(jù)獲取模塊得到多個(gè)原始文本數(shù)據(jù)集；

步驟S2：利用數(shù)據(jù)清洗模塊對(duì)所述原始文本數(shù)據(jù)集進(jìn)行預(yù)處理，以得到對(duì)應(yīng)的多個(gè)關(guān)鍵詞條集；