[發明專利]一種挖掘數據的前期準備方法在審
| 申請號: | 201611097402.3 | 申請日: | 2016-12-02 |
| 公開(公告)號: | CN108153748A | 公開(公告)日: | 2018-06-12 |
| 發明(設計)人: | 安西民;林殷;朱巧霞 | 申請(專利權)人: | 航天星圖科技(北京)有限公司 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30;G06F9/50 |
| 代理公司: | 北京安博達知識產權代理有限公司 11271 | 代理人: | 徐國文 |
| 地址: | 101399 北京市順義區國*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 控制節點 數據準備 計算節點 數據挖掘 系統處理 運行負載 挖掘 | ||
1.一種挖掘數據的前期準備方法,其特征在于,該方法包括如下步驟:
(1)當控制節點接收到數據挖掘服務請求時,從多個計算節點中選擇一個計算節點作為數據準備節點;
(2)所述數據準備節點從控制節點接收數據準備線程保存在本地,其中數據清洗線程由多個數據準備組件來實現;
(3)所述數據準備節點可以選擇不同的數據準備組件進行組合構成數據準備線程并運行,分別實現不同功能的數據準備。
2.根據權利要求1所述的挖掘數據的前期準備方法,其特征在于,數據準備為數據清洗,數據準備組件為清洗服務組件,清洗服務組件包括數據標準化模塊、錯誤數據查找模塊、重復數據刪除模塊。
3.根據權利要求2所述的挖掘數據的前期準備方法,其特征在于,清洗服務組件包括數據標準化模塊、錯誤數據查找模塊、重復數據刪除模塊。
4.根據權利要求2所述的挖掘數據的前期準備方法,其特征在于,所述數據標準化模塊用于解決多來源數據標準不統一的問題,按照預先制定的數據倉庫規范統一描述方式,實現全倉儲數據格式標準化;所述錯誤數據查找模塊用于查找和刪除不合理數據、不合邏輯數據和矛盾數據;所述重復數據刪除模塊用于識別和刪除相似重復數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于航天星圖科技(北京)有限公司,未經航天星圖科技(北京)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201611097402.3/1.html,轉載請聲明來源鉆瓜專利網。





