[發(fā)明專利]一種大數(shù)據(jù)挖掘系統(tǒng)在審
申請?zhí)枺?/td> | 202010121000.2 | 申請日: | 2020-02-26 |
公開(公告)號: | CN111241187A | 公開(公告)日: | 2020-06-05 |
發(fā)明(設(shè)計(jì))人: | 肖莎莎;黃艷偉 | 申請(專利權(quán))人: | 肖莎莎 |
主分類號: | G06F16/26 | 分類號: | G06F16/26;G06K9/62 |
代理公司: | 鄭州芝麻知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173 | 代理人: | 董曉勇 |
地址: | 450000 河南省鄭*** | 國省代碼: | 河南;41 |
權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關(guān)鍵詞: | 一種 數(shù)據(jù) 挖掘 系統(tǒng) | ||
本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng),包括大數(shù)據(jù)存儲模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊。在數(shù)據(jù)挖掘之前,通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較,對提取到的數(shù)據(jù)信息進(jìn)行有效性篩選,只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘,防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾,能夠提升數(shù)據(jù)挖掘的可靠性;采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息行挖掘分析,分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果,通過對第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和,獲得最終數(shù)據(jù)挖掘結(jié)果,能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。
技術(shù)領(lǐng)域
本發(fā)明涉及一種大數(shù)據(jù)挖掘系統(tǒng)。
背景技術(shù)
大數(shù)據(jù)一般是指無法在一定時間范圍內(nèi)用傳統(tǒng)的計(jì)算機(jī)技術(shù)進(jìn)行處理的海量數(shù)據(jù)集。數(shù)據(jù)挖掘是指從大量的、有噪聲的、隨機(jī)的數(shù)據(jù)中提取潛在的、有效的、新穎的、有用的模式或信息,用于使用。近年來,隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展,海量數(shù)據(jù)不斷增長,數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注。現(xiàn)有的數(shù)據(jù)挖掘方法的數(shù)據(jù)挖掘過程比較簡單,導(dǎo)致可靠性較低。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種大數(shù)據(jù)挖掘系統(tǒng),用于解決現(xiàn)有的數(shù)據(jù)挖掘方法的可靠性較低的問題。
為了解決上述問題,本發(fā)明采用以下技術(shù)方案:
一種大數(shù)據(jù)挖掘系統(tǒng),包括:大數(shù)據(jù)存儲模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)有效性篩選模塊和數(shù)據(jù)挖掘模塊;
所述大數(shù)據(jù)存儲模塊用于存儲數(shù)據(jù)信息;
所述數(shù)據(jù)提取模塊用于根據(jù)用戶需求從所述大數(shù)據(jù)存儲模塊中提取相關(guān)的數(shù)據(jù)信息,并將提取到的數(shù)據(jù)信息傳輸至所述數(shù)據(jù)有效性篩選模塊;
所述數(shù)據(jù)有效性篩選模塊用于對提取到的數(shù)據(jù)信息按照如下有效性篩選策略進(jìn)行有效性篩選:預(yù)設(shè)有數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值,比對所述提取到的數(shù)據(jù)信息與所述有效性上限閾值和數(shù)據(jù)有效性下限閾值的大小關(guān)系,若所述提取到的數(shù)據(jù)信息大于或者等于所述數(shù)據(jù)有效性下限閾值,且小于或者等于所述有效性上限閾值,則判定所述提取到的數(shù)據(jù)信息有效;
所述數(shù)據(jù)有效性篩選模塊將有效的數(shù)據(jù)信息傳輸給所述數(shù)據(jù)挖掘模塊,所述數(shù)據(jù)挖掘模塊用于采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息進(jìn)行挖掘分析,分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果,所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果分別具有相應(yīng)的權(quán)重值,根據(jù)所述權(quán)重值,對所述第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和,獲得最終數(shù)據(jù)挖掘結(jié)果。
可選地,所述大數(shù)據(jù)挖掘系統(tǒng)還包括第一顯示模塊、第二顯示模塊和第三顯示模塊,所述第一顯示模塊用于顯示所述第一初始數(shù)據(jù)挖掘結(jié)果,所述第二顯示模塊用于顯示所述第二初始數(shù)據(jù)挖掘結(jié)果,所述第三顯示模塊用于顯示所述最終數(shù)據(jù)挖掘結(jié)果。
可選地,所述兩種不同的挖掘算法分別為決策樹挖掘分類算法和K-Means聚類算法。
可選地,所述大數(shù)據(jù)存儲模塊包括內(nèi)存數(shù)據(jù)庫和磁盤數(shù)據(jù)庫,數(shù)據(jù)信息先存儲至所述內(nèi)存數(shù)據(jù)庫中,當(dāng)所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息存儲量大于預(yù)設(shè)存儲量閾值時,比較所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息的存儲時長與預(yù)設(shè)存儲時長,若存儲時長大于所述預(yù)設(shè)存儲時長,則將所述內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)信息轉(zhuǎn)移至所述磁盤數(shù)據(jù)庫。
本發(fā)明的有益效果為:在數(shù)據(jù)挖掘之前,通過與預(yù)設(shè)的數(shù)據(jù)有效性上限閾值和數(shù)據(jù)有效性下限閾值進(jìn)行比較,對提取到的數(shù)據(jù)信息進(jìn)行有效性篩選,只有滿足有效性篩選條件才能夠進(jìn)行后續(xù)的數(shù)據(jù)挖掘,防止其他無效數(shù)據(jù)或者噪音數(shù)據(jù)的干擾,能夠提升數(shù)據(jù)挖掘的可靠性;采用兩種不同的挖掘算法分別對有效的數(shù)據(jù)信息行挖掘分析,分別得到第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果,通過對第一初始數(shù)據(jù)挖掘結(jié)果和第二初始數(shù)據(jù)挖掘結(jié)果進(jìn)行加權(quán)求和,獲得最終數(shù)據(jù)挖掘結(jié)果,能夠提升數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性和可靠性。
附圖說明
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于肖莎莎,未經(jīng)肖莎莎許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010121000.2/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置