[發明專利]海量數據處理方法和系統在審
| 申請號： | 201210215717.9 | 申請日： | 2012-06-27 |
| 公開（公告）號： | CN103514205A | 公開（公告）日： | 2014-01-15 |
| 發明（設計）人： | 聞劍峰;賀仁龍;石屹嶸;龔德志;段勇 | 申請（專利權）人： | 中國電信股份有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 中國國際貿易促進委員會專利商標事務所 11038 | 代理人： | 孫寶海 |
| 地址： | 100033 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 海量 數據處理 方法 系統 | ||
1.一種海量數據處理方法，其特征在于，所述方法包括：
并行采集多個數據文件；
將每個所述數據文件劃分成多個獨立的數據塊，分別存儲所述數據塊；
對每個所述數據塊進行清洗；
將清洗后的每個所述數據塊保存到數據倉庫。
2.根據權利要求1所述的方法，其特征在于，所述并行采集多個數據文件包括：
同時啟動多個采集子任務，多個所述采集子任務并行采集多個所述數據文件。
3.根據權利要求1所述的方法，其特征在于，所述分別存儲所述數據塊包括：
將多個所述數據塊分散存儲到云平臺的分布式文件系統上。
4.根據權利要求1所述的方法，其特征在于，所述對每個所述數據塊進行清洗包括：
同時啟動多個數據處理子任務，多個所述數據處理子任務并行對多個所述數據塊進行數據讀取、字段提取和格式轉換。
5.根據權利要求1所述的方法，其特征在于，所述將清洗后的每個所述數據塊保存到數據倉庫包括：
利用所述數據倉庫提供的多個數據訪問點，同時將清洗后的每個所述數據塊保存到所述數據倉庫。
6.一種海量數據處理系統，其特征在于，所述系統包括：
并行采集裝置，用于并行采集多個數據文件；
分散存儲裝置，用于將每個所述數據文件劃分成多個獨立的數據塊，分別存儲所述數據塊；
清洗裝置，用于對每個所述數據塊進行清洗；
入庫裝置，用于將清洗后的每個所述數據塊保存到數據倉庫。
7.根據權利要求6所述的系統，其特征在于，所述并行采集裝置，用于同時啟動多個采集子任務，多個所述采集子任務并行采集多個所述數據文件。
8.根據權利要求6所述的系統，其特征在于，所述分散存儲裝置，用于將每個所述數據文件劃分成多個獨立的數據塊，并將多個所述數據塊分散存儲到云平臺的分布式文件系統上。
9.根據權利要求6所述的系統，其特征在于，所述清洗裝置，用于同時啟動多個數據處理子任務，多個所述數據處理子任務并行對多個所述數據塊進行數據讀取、字段提取和格式轉換。
10.根據權利要求6所述的系統，其特征在于，所述入庫裝置，用于利用所述數據倉庫提供的多個數據訪問點，同時將清洗后的每個所述數據塊保存到所述數據倉庫。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國電信股份有限公司，未經中國電信股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201210215717.9/1.html，轉載請聲明來源鉆瓜專利網。
