[發(fā)明專利]一種大數(shù)據(jù)挖掘系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010121000.2
• 申請日: 2020-02-26
• 公開（公告）號: CN111241187A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 肖莎莎;黃艷偉
• 申請（專利權(quán)）人: 肖莎莎
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06K9/62
• 代理公司: 鄭州芝麻知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 董曉勇

本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng)，包括大數(shù)據(jù)存儲模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊。在數(shù)據(jù)挖掘之前，通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較，對提取到的數(shù)據(jù)信息進(jìn)行有效性篩選，只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘，防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾，能夠提升數(shù)據(jù)挖掘的可靠性；采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，通過對第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果，能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)一般是指無法在一定時間范圍內(nèi)用傳統(tǒng)的計(jì)算機(jī)技術(shù)進(jìn)行處理的海量數(shù)據(jù)集。數(shù)據(jù)挖掘是指從大量的、有噪聲的、隨機(jī)的數(shù)據(jù)中提取潛在的、有效的、新穎的、有用的模式或信息，用于使用。近年來，隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，海量數(shù)據(jù)不斷增長，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注。現(xiàn)有的數(shù)據(jù)挖掘方法的數(shù)據(jù)挖掘過程比較簡單，導(dǎo)致可靠性較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種大數(shù)據(jù)挖掘系統(tǒng)，用于解決現(xiàn)有的數(shù)據(jù)挖掘方法的可靠性較低的問題。

為了解決上述問題，本發(fā)明采用以下技術(shù)方案：

一種大數(shù)據(jù)挖掘系統(tǒng)，包括：大數(shù)據(jù)存儲模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊；

所述大數(shù)據(jù)存儲模塊用于存儲數(shù)據(jù)信息；

所述數(shù)據(jù)提取模塊用于根據(jù)用戶需求從所述大數(shù)據(jù)存儲模塊中提取相關(guān)的數(shù)據(jù)信息，并將提取到的數(shù)據(jù)信息傳輸至所述數(shù)據(jù)有效性篩選模塊；

所述數(shù)據(jù)有效性篩選模塊用于對提取到的數(shù)據(jù)信息按照如下有效性篩選策略進(jìn)行有效性篩選：預(yù)設(shè)有數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值，比對所述提取到的數(shù)據(jù)信息與所述有效性上限閾值和數(shù)據(jù)有效性下限閾值的大小關(guān)系，若所述提取到的數(shù)據(jù)信息大于或者等于所述數(shù)據(jù)有效性下限閾值，且小于或者等于所述有效性上限閾值，則判定所述提取到的數(shù)據(jù)信息有效；

所述數(shù)據(jù)有效性篩選模塊將有效的數(shù)據(jù)信息傳輸給所述數(shù)據(jù)挖掘模塊，所述數(shù)據(jù)挖掘模塊用于采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息進(jìn)行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果分別具有相應(yīng)的權(quán)重值，根據(jù)所述權(quán)重值，對所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果。

可選地，所述大數(shù)據(jù)挖掘系統(tǒng)還包括第一顯示模塊、第二顯示模塊和第三顯示模塊，所述第一顯示模塊用于顯示所述第一初始數(shù)據(jù)挖掘結(jié)果，所述第二顯示模塊用于顯示所述第二初始數(shù)據(jù)挖掘結(jié)果，所述第三顯示模塊用于顯示所述最終數(shù)據(jù)挖掘結(jié)果。

可選地，所述兩種不同的挖掘算法分別為決策樹挖掘分類算法和K-Means聚類算法。

可選地，所述大數(shù)據(jù)存儲模塊包括內(nèi)存數(shù)據(jù)庫和磁盤數(shù)據(jù)庫，數(shù)據(jù)信息先存儲至所述內(nèi)存數(shù)據(jù)庫中，當(dāng)所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息存儲量大于預(yù)設(shè)存儲量閾值時，比較所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息的存儲時長與預(yù)設(shè)存儲時長，若存儲時長大于所述預(yù)設(shè)存儲時長，則將所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息轉(zhuǎn)移至所述磁盤數(shù)據(jù)庫。

本發(fā)明的有益效果為：在數(shù)據(jù)挖掘之前，通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較，對提取到的數(shù)據(jù)信息進(jìn)行有效性篩選，只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘，防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾，能夠提升數(shù)據(jù)挖掘的可靠性；采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息行挖掘分析，分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果，通過對第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和，獲得最終數(shù)據(jù)挖掘結(jié)果，能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。

附圖說明