[發明專利]基于操作流的異步交互式數據挖掘系統及方法

有效

• 申請號: 200810060418.6
• 申請日: 2008-04-18
• 公開（公告）號: CN101276371A
• 公開（公告）日: 2008-10-01
• 發明（設計）人: 吳朝暉;吳毅挺;秘中凱;付志宏;封毅;姜曉紅;陳華均
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州裕陽專利事務所（普通合伙）
• 代理人: 應圣義

技術領域

本發明涉及AJAX領域和數據挖掘集成技術領域，特別是涉及一種數據挖掘系統及方法。

背景技術

隨著信息和知識經濟時代的飛速發展，各科學研究領域都已積累了大量的科學數據，而且這些數據仍在呈指數級不斷增長的趨勢。如何從海量的數據中獲取有意義的信息，分析其中的有效特征，就成了一個很大的問題。

首先，越來越多的數據被存儲在分布式數據庫，復雜的數據庫結構，如何從龐大的數據庫中獲取需要的數據無疑也增加了數據挖掘的困難。其次，是各種數據格式、結構各不相同，同樣一個算法，可能每次處理不同格式的數據，都需要修改源代碼；同樣當需要把結果集以不同的格式輸入到文件或數據庫時，也需要修改代碼。再者，目前的數據挖掘都依賴于特定的軟件，必需先安裝才能使用。

進一步的，當前使用的數據挖掘系統的Web站點強制用戶進入提交/等待/重新顯示范例，用戶的動作總是與服務器的“思考時間”同步。

發明內容

本發明的目的在于提供一種無需安裝軟件，使用方便的基于操作流的異步交互式數據挖掘系統及方法。

本發明解決其技術問題采用的技術方案如下：

一種基于操作流的異步交互式數據挖掘系統，包括客戶端和服務器端，客戶端采用GWT-EXT構建AJAX用戶界面；服務端架設在Web容器上，包括以下幾個模塊：

基于語義集成的分布式數據庫模塊，用于提供基于語義的分布式數據庫訪問，用戶在不需要知道分布式數據庫結構的情況下，就能根據自己的領域知識獲取需要的數據。

操作符參數模塊，用來為客戶端提供操作符參數服務，當用戶在客戶端使用和配置某個操作符時，客戶端把操作符名字異步發送至服務端，再由操作符參數模塊返回該操作符的參數信息。

用戶管理模塊，用于操作符遠程文件參數配置、新用戶注冊申請批準、用戶驗證、實驗管理、管理員權限設置。

Rapid?Miner內核模塊，用來運行用戶實驗，并提供操作符應用接口，返回挖掘結果集。

一種基于操作流的異步交互式數據挖掘系統，還包括web?service模塊，用于應用各大互連網公司提供的開放API，從互連網獲取數據，作為數據挖掘的數據源。

一種基于操作流的異步交互式數據挖掘系統，還包括數據庫模塊，用來以JDBC方式連接普通數據庫，并提供數據庫用戶向導，可以保存用戶連接配置到服務端，根據用戶選擇動態生成SQL語句，還能提供SQL執行結果預覽。

一種基于操作流的異步交互式數據挖掘系統，所述的Web容器為ApacheTomcat服務器。

一種利用基于操作流的異步交互式數據挖掘系統的數據挖掘方法，主要包括以下幾個步驟：

501、用戶通過瀏覽器登陸該系統；

502、客戶端發送用戶登陸信息至服務端的用戶管理模塊進行權限驗證；

503、新建數據挖掘試驗；

504、服務端的用戶管理模塊對用戶工作目錄進行管理，添加新試驗；

505、從操作符列表中選取需要的操作符、操作符子鏈，創建操作符樹；

506、當用戶選擇操作符時，客戶端發送操作符名至服務端，操作符參數模塊負責把操作符提示信息異步發送到客戶端；

507、操作符參數模塊同時把操作符參數信息以xml形式發送至客戶端；

508、配置操作符參數，客戶端已經有獲取的操作符信息；

509、提交數據挖掘實驗，同時保存；

5010、客戶端把數據挖掘操作樹轉化成xml，提交給RapidMiner內核，RapidMiner內核啟動一個新的實驗進程運行該數據挖掘實驗；

5011、實驗運行完畢，把結果集發送至客戶端；

5012、客戶端以圖表形式展示結果集。

本發明與背景技術相比，具有的有益的效果是：

●完整性：基于操作流的異步交互式數據挖掘系統及方法包括抽象與構建操作符庫、構建數據挖掘實驗室樹、操作符參數配置、實驗提交與運行、操作流斷點調試、結果集返回與可視化、系統配置與用戶管理等七個步驟，是一套完整的數據挖掘系統及方法的解決方案。

●擴展性：通過可配置的注冊機制，實現自定義操作符的加入和整合；只要遵循定義好的接口，就可以開發自定義的操作符，經注冊以后就可以直接投入使用。

●可重用性：所有的操作符在一個實驗里均可重復使用，極大的提高了軟件的可重用性。