[發明專利]一種數據挖掘系統和方法

在審

• 申請號: 201710619412.7
• 申請日: 2017-07-26
• 公開（公告）號: CN107391694A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 沈麗娜
• 申請（專利權）人: 沈麗娜
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數據挖掘系統和方法，屬于互聯網技術領域。

背景技術

隨著互聯網、移動互聯網、社交媒體等的迅猛發展，時刻都有無數的信息充斥在各個角落，如何從這些海量的信息中獲取所需的信息即數據挖掘就成為了一個亟待解決的問題。

目前的數據挖掘大多采用應用程序(Application，APP)加接口的方式，即APP對數據的組織和呈現進行要求，然后底層數據源實現接口來提供數據支撐。然而，APP不同或APP中的場景不同都會對底層數據的接口要求不同，這就需要開發無數個接口來滿足上層APP的需要。而對于數據源而言，數據并沒有變化，只是面向不同的APP，需重新對數據進行組織和封裝。這樣，現有的數據挖掘采用的是APP和數據源的緊耦合方式，使得數據挖掘的靈活性不高，并且，使得基于多數據源的數據挖掘過程比較費時費力，應用不夠簡便。同時由于信息時代帶來的數據的量呈指數上升，如果對于所有的數據不加以甄別和過濾，會將大量重復和無效數據的引入，增加了數據挖掘系統的負擔，同時對數據挖掘與分析的結果產生一定的影響。

發明內容

針對目前存在的問題，本發明提供了一種數據挖掘系統和方法，通過對重復數據和無效數據的甄別和過濾，有效減輕了數據挖掘系統的負擔，避免其對數據挖掘與分析結果產生的影響。

一種數據挖掘系統，其由數據采集單元、數據轉換單元、數據整合分析單元、數據儲存單元以及數據反饋單元組成，其中：

所述數據采集單元，用于從對應的數據源中提取挖掘數據，并通過所述數據轉換單元將所述挖掘數據提供給所述數據挖掘系統；

所述數據轉換單元，用于將所述數據采集單元提取的挖掘數據經過壓縮、過濾、匯總、集聚，將數據轉換成元數據，然后將元數據提供給所述的數據整合分析單元；

所述數據整合分析單元，用于將所述數據轉換單元提供的元數據進行整合分析，將整合分析后的有益元數據提供給所述數據儲存單元，并剔除剝離整合分析后的無效元數據；

所述的數據儲存單元，用于將所述數據整合分析單元經過整合分析后的有益元數據存儲起來；

所述的數據反饋單元，用于將所述數據整合分析單元的整合分析結果反饋給所述數據采集單元和所述數據轉換單元，使得所述數據采集單元和所述數據轉換單元對無效數據和重復數據進行識別，從而使得所述數據采集單元對無效數據和重復數據不再進行采集，所述數據轉換單元對無效重復數據不再進行轉換而直接丟棄。

所述數據采集單元為一個或一個以上，相互之間連接成一個網狀結構，采集的數據在所述的數據采集單元之間流通和共享，再將數據傳輸給所述數據轉換單元，所述數據采集單元具有甄別和過濾功能，將所述數據反饋單元反饋的信息指令接收并執行。

所述數據轉換單元具有過濾和丟棄功能，將所述數據反饋單元提供的無效數據和重復數據的信息接收，并再下次接收到同樣信息時過濾并丟棄掉。

所述數據整合分析單元具有概念和類別描述、關聯分析、分類與估值、聚類分析、時間序列分析、數學分析的功能，對所述數據轉換單元輸入的元數據按照數據挖掘系統的指令進行整合分析。

所述數據儲存單元具有儲存和整理功能，對所述數據整合分析單元輸入的數據進行儲存和整理，同時根據數據挖掘系統的指令對儲存數據進行輸出和分類操作。

所述數據反饋單元有傳輸指令和控制的功能，根據數據挖掘系統的指令對所述數據采集單元進行控制。

數據挖掘方法為，數據挖掘系統下達數據挖掘指令給數據反饋單元，所述數據反饋單元將所述數據挖掘指令下達給所述數據采集單元，所述數據采集單元開始進行數據采集，所述的采集的數據經過數據轉換單元將其轉換成元數據，所述數據整合分析單元對所述元數據進行整合分析，將有用元數據傳輸到數據儲存單元進行儲存。

所述的數據整合分析單元將無效數據和重復數據信息輸入數據反饋單元，所述數據反饋單元將無效數據和重復數據信息反饋至數據采集單元，所述數據采集單元對再次輸入的相同數據進行甄別與過濾，避免了無效數據和重復數據的再次輸入。

具體運行過程如下：