[發明專利]一種大數據挖掘系統

有效

• 申請號: 201710799148.X
• 申請日: 2017-09-07
• 公開（公告）號: CN107577771B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 白云飛
• 申請（專利權）人: 北京海融興通信息安全技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 11392 北京衛平智業專利代理事務所(普通合伙)
• 代理人: 謝建玲;郝亮

本發明涉及一種大數據挖掘系統，包括大數據存儲模塊、數據提取模塊、數據檢查模塊、數據挖掘模塊、結果驗證模塊、數據報告模塊和日志模塊。數據提取模塊從大數據存儲模塊中提取符合用戶需求的數據集，將數據集發送給數據檢查模塊；數據檢查模塊檢查數據集的完整性并對數據集進行過濾，去除數據集中錯誤的或不一致的數據，保證了有效數據集的有效性，將過濾后的有效數據集發送給數據挖掘模塊；數據挖掘模塊采用多種挖掘算法對有效數據集進行挖掘分析，既能夠提高大數據挖掘的準確性，又能保護用戶隱私信息不被泄露；結果驗證模塊驗證數據挖掘結果的準確性；數據報告模塊根據數據挖掘結果生成數據報告；日志模塊記錄數據挖掘過程中產生的日志數據。

技術領域

本發明涉及數據處理技術領域，具體說是一種大數據挖掘系統。

背景技術

數據挖掘是指從大量的、有噪聲的、隨機的數據中提取潛在的、有效的、新穎的、有用的模式或信息，用于決策者進行相應的決策。近年來，隨著網絡技術的迅猛發展，海量數據不斷增長，數據挖掘引起了信息產業界的極大關注，多元化、個性化的數據挖掘需求越來越強，其主要原因是存在大量數據，迫切需要將這些數據轉換成有用的信息和知識。

目前對數據挖掘的研究主要集中在改進挖掘算法方法，但如何從大量數據中提取有用信息，得出有效的數據挖掘結果仍然是目前亟待解決的問題。并且現有的數據挖掘系統可能導致用戶隱私信息泄露。因此需要提出一種新的大數據挖掘系統，能夠提高大數據挖掘的有效性并且保護用戶隱私信息不被泄露。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種基于大數據的智能家居系統，能夠提高大數據挖掘的速度和準確性，又能保護用戶隱私信息不被泄露，同時便于工作人員對數據挖掘過程的監控和管理。

為達到以上目的，本發明采取的技術方案是：

一種大數據挖掘系統，包括大數據存儲模塊、數據提取模塊、數據檢查模塊、數據挖掘模塊、結果驗證模塊、數據報告模塊和日志模塊；

所述數據提取模塊用于根據用戶需求、通過回歸統計分析從大數據存儲模塊中提取符合用戶需求的數據集，將數據集發送給數據檢查模塊；

所述數據檢查模塊用于根據用戶需求檢查數據集，并對數據集進行過濾，去除數據集中錯誤的或不一致的數據，過濾后的有效數據構成有效數據集，將有效數據集發送給數據挖掘模塊；

所述數據挖掘模塊用于采用挖掘算法對有效數據集進行挖掘分析，獲得數據挖掘結果，將數據挖掘結果發送給結果驗證模塊；

所述結果驗證模塊用于驗證數據挖掘結果的準確性，準確性低于用戶預設閾值時，返回數據提取模塊，重新進行數據提取；準確性達到或超過用戶預設閾值時，將數據挖掘結果發送給數據報告模塊；

所述數據報告模塊用于根據數據挖掘結果生成數據報告；

所述日志模塊用于記錄整個數據挖掘過程中產生的日志數據。

在上述方案的基礎上，所述大數據存儲模塊包括存儲層、管理層、應用接口層和訪問層。

在上述方案的基礎上，所述存儲層為滿足FC協議、iSCSI協議和NAS協議的存儲設備。

在上述方案的基礎上，所述管理層是大數據存儲模塊的核心，用于通過集群、分布式文件系統和網格計算實現多存儲設備間的協同工作。

在上述方案的基礎上，所述應用接口層用于提供各種應用服務接口。

在上述方案的基礎上，所述訪問層用于控制數據提取模塊的訪問權限；所述數據提取模塊接收用戶需求，向大數據存儲模塊發送訪問請求，大數據存儲模塊中的訪問層對數據提取模塊進行權限認證，認證通過后，大數據存儲模塊將相應數據發送給數據提取模塊。