[發明專利]一種面向多用戶協作的數據挖掘平臺的構建方法

有效

• 申請號: 201410059806.8
• 申請日: 2014-02-21
• 公開（公告）號: CN103853821B
• 公開（公告）日: 2017-02-22
• 發明（設計）人: 葉楓;郭小成;李源暢;范仕良
• 申請（專利權）人: 河海大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 李玉平

1.一種面向多用戶協作的數據挖掘平臺的構建方法，其特征在于：提供一種面向數據采集人員、數據分析人員和結果審查人員三種用戶角色協作進行數據挖掘的工作空間，具體包括以下步驟：

步驟1：設計并實現數據采集構件；

在以下兩種情況下進行數據采集：在數據庫中采集數據和web上傳方式采集數據；

在數據庫中采集數據，通過Java數據庫連接實現，將數據挖掘平臺的數據訪問實時地轉化為數據庫中相應的數據查詢；

Web上傳方式采集數據，通過監聽web客戶端的數據上傳請求，建立客戶端和數據存儲服務器的socket連接，再使用Java?I/O流將數據集寫入到數據存儲服務器的文件系統中；

在兩種數據采集構件具體實現時，都需將數據集相應的數據的元數據信息保存到系統的數據庫中，并對外提供統一的訪問接口；

步驟2：設計并實現數據預處理構件；通過R語言對數據集進行統計分析，以圖形的方式向用戶展現數據集的基本描述信息；封裝插值填補、記錄去除和數據修正的數學方法，提供處理數據缺失值、處理重復數據、處理噪聲數據和處理異常數據等數據預處理環節的用戶接口；

步驟3：設計并實現數據建模構件；通過R語言封裝分類、聚類、關聯和時間序列的數據挖掘模型；提供圖形界面接口給用戶設置相應的模型分析參數；

步驟4：設計并實現結果可視化顯示構件；通過R語言將數據挖掘結果和模型評估結果以圖形、列表等方式展現給用戶；通過Ajax輪詢技術將結果實時推送給結果審查人員；

步驟5：設計并實現模型評估構件；通過使用R語言提供精確率、誤差率和混淆矩陣的多種模型評估方法；提供將模型分析參數和模型元數據信息保存到系統數據庫的用戶接口；

步驟6：設計并實現用戶工作空間；通過JQuery實現一個拖拽式的圖形操作界面，包括構件候選流程構件區和流程創建區兩個部分；通過堆棧數據結構存儲用戶操作日志，提供撤銷、重做和保存工作空間的用戶接口；

步驟7：定義并實現數據挖掘流程；以步驟1至步驟5設計的數據挖掘構件為節點，定義由若干個節點和箭頭組成的工作流；提供調整節點執行參數、更改流程執行方向以及導出中間運算結果等用戶接口；

步驟8：集成和部署挖掘平臺；對步驟1至步驟5設計的數據挖掘構件提供JSON格式的配置接口，提供以編輯配置文件的方式定制挖掘平臺的功能的用戶接口。