[發(fā)明專利]一種大數(shù)據(jù)挖掘系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010121000.2
• 申請(qǐng)日: 2020-02-26
• 公開（公告）號(hào): CN111241187A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 肖莎莎;黃艷偉
• 申請(qǐng)（專利權(quán)）人: 肖莎莎
• 主分類號(hào): G06F16/26
• 分類號(hào): G06F16/26;G06K9/62
• 代理公司: 鄭州芝麻知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 董曉勇

本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng)，包括大數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊。在數(shù)據(jù)挖掘之前，通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較，對(duì)提取到的數(shù)據(jù)信息進(jìn)行有效性篩選，只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘，防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾，能夠提升數(shù)據(jù)挖掘的可靠性；采用兩種不同的挖掘算法分別對(duì)有效的數(shù)據(jù)信息行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，通過對(duì)第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果，能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)一般是指無法在一定時(shí)間范圍內(nèi)用傳統(tǒng)的計(jì)算機(jī)技術(shù)進(jìn)行處理的海量數(shù)據(jù)集。數(shù)據(jù)挖掘是指從大量的、有噪聲的、隨機(jī)的數(shù)據(jù)中提取潛在的、有效的、新穎的、有用的模式或信息，用于使用。近年來，隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，海量數(shù)據(jù)不斷增長(zhǎng)，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注。現(xiàn)有的數(shù)據(jù)挖掘方法的數(shù)據(jù)挖掘過程比較簡(jiǎn)單，導(dǎo)致可靠性較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種大數(shù)據(jù)挖掘系統(tǒng)，用于解決現(xiàn)有的數(shù)據(jù)挖掘方法的可靠性較低的問題。

為了解決上述問題，本發(fā)明采用以下技術(shù)方案：

一種大數(shù)據(jù)挖掘系統(tǒng)，包括：大數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊；

所述大數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)數(shù)據(jù)信息；

所述數(shù)據(jù)提取模塊用于根據(jù)用戶需求從所述大數(shù)據(jù)存儲(chǔ)模塊中提取相關(guān)的數(shù)據(jù)信息，并將提取到的數(shù)據(jù)信息傳輸至所述數(shù)據(jù)有效性篩選模塊；

所述數(shù)據(jù)有效性篩選模塊用于對(duì)提取到的數(shù)據(jù)信息按照如下有效性篩選策略進(jìn)行有效性篩選：預(yù)設(shè)有數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值，比對(duì)所述提取到的數(shù)據(jù)信息與所述有效性上限閾值和數(shù)據(jù)有效性下限閾值的大小關(guān)系，若所述提取到的數(shù)據(jù)信息大于或者等于所述數(shù)據(jù)有效性下限閾值，且小于或者等于所述有效性上限閾值，則判定所述提取到的數(shù)據(jù)信息有效；

所述數(shù)據(jù)有效性篩選模塊將有效的數(shù)據(jù)信息傳輸給所述數(shù)據(jù)挖掘模塊，所述數(shù)據(jù)挖掘模塊用于采用兩種不同的挖掘算法分別對(duì)有效的數(shù)據(jù)信息進(jìn)行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果分別具有相應(yīng)的權(quán)重值，根據(jù)所述權(quán)重值，對(duì)所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果。

可選地，所述大數(shù)據(jù)挖掘系統(tǒng)還包括第一顯示模塊、第二顯示模塊和第三顯示模塊，所述第一顯示模塊用于顯示所述第一初始數(shù)據(jù)挖掘結(jié)果，所述第二顯示模塊用于顯示所述第二初始數(shù)據(jù)挖掘結(jié)果，所述第三顯示模塊用于顯示所述最終數(shù)據(jù)挖掘結(jié)果。

可選地，所述兩種不同的挖掘算法分別為決策樹挖掘分類算法和K-Means聚類算法。

可選地，所述大數(shù)據(jù)存儲(chǔ)模塊包括內(nèi)存數(shù)據(jù)庫(kù)和磁盤數(shù)據(jù)庫(kù)，數(shù)據(jù)信息先存儲(chǔ)至所述內(nèi)存數(shù)據(jù)庫(kù)中，當(dāng)所述內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息存儲(chǔ)量大于預(yù)設(shè)存儲(chǔ)量閾值時(shí)，比較所述內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息的存儲(chǔ)時(shí)長(zhǎng)與預(yù)設(shè)存儲(chǔ)時(shí)長(zhǎng)，若存儲(chǔ)時(shí)長(zhǎng)大于所述預(yù)設(shè)存儲(chǔ)時(shí)長(zhǎng)，則將所述內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息轉(zhuǎn)移至所述磁盤數(shù)據(jù)庫(kù)。

本發(fā)明的有益效果為：在數(shù)據(jù)挖掘之前，通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較，對(duì)提取到的數(shù)據(jù)信息進(jìn)行有效性篩選，只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘，防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾，能夠提升數(shù)據(jù)挖掘的可靠性；采用兩種不同的挖掘算法分別對(duì)有效的數(shù)據(jù)信息行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，通過對(duì)第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果，能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。

附圖說明