[發(fā)明專利]基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711488545.1
• 申請日: 2017-12-30
• 公開（公告）號: CN109992246A
• 公開（公告）日: 2019-07-09
• 發(fā)明（設(shè)計）人: 祁建明;周峻松;徐繼峰;陳墩金
• 申請（專利權(quán)）人: 廣州明領(lǐng)基因科技有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)源層、業(yè)務(wù)邏輯層、表示層以及客戶層；其中，所述數(shù)據(jù)源層處于系統(tǒng)的底端，負(fù)責(zé)數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約，并且提供數(shù)據(jù)給所述業(yè)務(wù)邏輯層；所述業(yè)務(wù)邏輯層負(fù)責(zé)處理應(yīng)用的核心業(yè)務(wù)邏輯即所有算法的調(diào)度，并為所述數(shù)據(jù)源層提供必要的接口；所述表示層負(fù)責(zé)映射所述業(yè)務(wù)邏輯層中的Java對象到Flex對象、RTMP(Real Time Message Potocol)、代理，并在服務(wù)端生成PDF等；所述客戶層負(fù)責(zé)將專業(yè)的數(shù)據(jù)挖掘結(jié)果更為生動、易于理解地展示給大眾用戶。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)挖掘技術(shù)領(lǐng)域，涉及一種基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)。

背景技術(shù)

隨著數(shù)據(jù)挖掘技術(shù)的發(fā)展，數(shù)據(jù)挖掘系統(tǒng)的開發(fā)也成為一個新的研究熱點。從第一代數(shù)據(jù)挖掘軟件的代表CBA，到后來的DBMiner、SASEnterpriseMnier、SPSSClementine以及現(xiàn)在的第四代商業(yè)數(shù)據(jù)挖掘模型，無不是數(shù)據(jù)挖掘技術(shù)逐漸成熟的體現(xiàn)，但目前流行的商用軟件都是單機版的數(shù)據(jù)挖掘系統(tǒng)。從國內(nèi)外已發(fā)表的數(shù)據(jù)挖掘的論文中可以看到有提到網(wǎng)絡(luò)數(shù)據(jù)挖掘，但這種系統(tǒng)是偏重于網(wǎng)絡(luò)數(shù)據(jù)的挖掘，在系統(tǒng)的體系結(jié)構(gòu)上沒有做出改變。

隨著Internet技術(shù)的發(fā)展，對數(shù)據(jù)挖掘系統(tǒng)的體系從主機模式向基于Web的多層跨平臺的B/S模式轉(zhuǎn)化提出了挑戰(zhàn)。

基于Web的系統(tǒng)表示層建立在“瘦客戶”的基礎(chǔ)上，其處理能力以及表現(xiàn)效果非常有限，而數(shù)據(jù)挖掘系統(tǒng)需要豐富的數(shù)據(jù)可視化、數(shù)據(jù)挖掘過程的可視化以及數(shù)據(jù)挖掘結(jié)果的可視化。所以，傳統(tǒng)基于靜態(tài)頁面的網(wǎng)絡(luò)系統(tǒng)已經(jīng)不能滿足數(shù)據(jù)挖掘系統(tǒng)的可視化要求。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)，針對傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)挖掘系統(tǒng)常強調(diào)挖掘的是網(wǎng)絡(luò)數(shù)據(jù)，而在系統(tǒng)的體系結(jié)構(gòu)上并沒有做出相應(yīng)地改變，導(dǎo)致其處理能力以及表現(xiàn)效果非常有限的問題，通過引用Flex與Spring技術(shù)，提高了網(wǎng)絡(luò)數(shù)據(jù)挖掘系統(tǒng)的跨平臺性、算法的可移植性以及使客戶層有更豐富、更具交互性與響應(yīng)性的用戶體驗。

為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：一種基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)源層、業(yè)務(wù)邏輯層、表示層以及客戶層；其中，所述數(shù)據(jù)源層處于系統(tǒng)的底端，負(fù)責(zé)數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約，并且提供數(shù)據(jù)給所述業(yè)務(wù)邏輯層；所述業(yè)務(wù)邏輯層負(fù)責(zé)處理應(yīng)用的核心業(yè)務(wù)邏輯即所有算法的調(diào)度，并為所述數(shù)據(jù)源層提供必要的接口；所述表示層負(fù)責(zé)映射所述業(yè)務(wù)邏輯層中的Java對象到Flex對象、RTMP(Real Time Message Potocol)、代理，并在服務(wù)端生成PDF等；所述客戶層負(fù)責(zé)將專業(yè)的數(shù)據(jù)挖掘結(jié)果更為生動、易于理解地展示給大眾用戶。

進一步地，所述數(shù)據(jù)源層以兩種方式提供算法所需的數(shù)據(jù)：一種是通過數(shù)據(jù)倉庫；另一種是將文本格式化為統(tǒng)一格式后，再提供給所述業(yè)務(wù)邏輯層調(diào)用。

進一步地，所述業(yè)務(wù)邏輯層采用Spring框架來統(tǒng)一管理業(yè)務(wù)邏輯對象。

進一步地，所述表示層采用Flex體系結(jié)構(gòu)，將從所述業(yè)務(wù)邏輯層返回的數(shù)據(jù)通過MXML標(biāo)記語言解釋生成對應(yīng)的SWF文件。

進一步地，所述客戶層即支持SWF文件格式運行的Web瀏覽器。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下的有益效果：

本發(fā)明方案針對傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)挖掘系統(tǒng)常強調(diào)挖掘的是網(wǎng)絡(luò)數(shù)據(jù)，而在系統(tǒng)的體系結(jié)構(gòu)上并沒有做出相應(yīng)地改變，導(dǎo)致其處理能力以及表現(xiàn)效果非常有限的問題，通過引用Flex與Spring技術(shù)，提高了網(wǎng)絡(luò)數(shù)據(jù)挖掘系統(tǒng)的跨平臺性、算法的可移植性以及使客戶層有更豐富、更具交互性與響應(yīng)性的用戶體驗。

附圖說明

圖1是基于Web架構(gòu)的海量網(wǎng)絡(luò)大數(shù)據(jù)挖掘系統(tǒng)的整體框架圖