[發明專利]一種基于Hadoop的數據處理方法及其系統

在審

• 申請號: 201210448379.3
• 申請日: 2012-11-09
• 公開（公告）號: CN103810197A
• 公開（公告）日: 2014-05-21
• 發明（設計）人: 薛洪賀;羅峰;黃蘇支;李娜
• 申請（專利權）人: 北京億贊普網絡技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬曉亞

1.一種基于Hadoop的數據處理方法，用于數據服務器和MAP程序所在的集群數據服務器之間進行數據交互,其特征在于，包括：

步驟S1、當數據服務器收到集群數據服務器的數據請求時，從所述數據請求中提取請求的需求字段同時將源數據轉化為KEY/VALUE格式；

步驟S2、所述數據服務器從轉換為KEY/VALUE格式的數據中提取所述需求字段對應的數據，將所述需求字段對應的數據發送給所述集群數據服務器；

步驟S3、當所述集群數據服務器接收到所述需求字段對應的數據時，根據預設的配置信息對所述需求字段對應的數據進行適配識別并進行下一步運算。

2.如權利要求1所述的基于Hadoop的數據處理方法，其特征在于，步驟S1中所述將所述源數據轉化為KEY/VALUE格式具體為：

當所述源數據為列結構的數據時，將所述源數據轉化為KEY/VALUE格式；當所述源數據不為列結構的數據時，先將所述源數據格式化為列結構的數據，再將所述列結構的數據轉化為KEY/VALUE格式。

3.如權利要求2所述的基于Hadoop的數據處理方法，其特征在于，所述將數據轉化為KEY/VALUE格式具體為通過MAP/REDUCE將數據轉化為KEY/VALUE格式。

4.如權利要求3所述的基于Hadoop的數據處理方法，其特征在于，所述源數據包括磁盤上存儲的文件數據、磁盤上存儲的XML格式的數據和/或數據庫中存儲的二維表數據。

5.一種基于Hadoop的數據處理系統，用于數據服務器和MAP程序所在的集群數據服務器之間進行數據交互，其特征在于，所述數據服務器包括數據格式化模塊和數據過濾模塊，所述集群數據服務器包括數據請求模塊和適配識別模塊；

數據請求模塊：用于向數據服務器發出數據請求，所述數據請求包括請求的需求字段；

數據格式化模塊：用于當數據服務器收到集群數據服務器的數據請求時，從所述數據請求中提取請求的需求字段同時將源數據轉化為KEY/VALUE格式，將所述轉化為KEY/VALUE格式的數據發送給所述數據地濾模塊；

數據過濾模塊：與數據格式化模塊連接，用于接收所述數據格式化模塊發送的KEY/VALUE格式的數據，從所述KEY/VALUE格式的數據中提取所述需求字段對應的數據，將所述需求字段對應的數據發送給所述集群數據服務器；

適配識別模塊：用于當所述集群數據服務器接收到所述需求字段對應的數據時，根據預設的配置信息對所述需求字段對應的數據進行適配識別。

6.如權利要求5所述的基于Hadoop的數據處理系統，其特征在于，所述數據格式化模塊中所述將所述源數據轉化為KEY/VALUE格式包括：當所述源數據為列結構的數據時，將所述源數據轉化為KEY/VALUE格式；當所述源數據不為列結構時，先將所述源數據格式化為列結構的數據，再將所述列結構的數據轉化為KEY/VALUE格式。

7.如權利要求6所述的基于Hadoop的數據處理系統，其特征在于，所述將數據轉化為KEY/VALUE格式具體為通過MAP/REDUCE將數據轉化為KEY/VALUE格式。

8.如權利要求7所述的基于Hadoop的數據處理系統，其特征在于，所述源數據包括磁盤上存儲的文件數據、磁盤上存儲的XML格式的數據和/或數據庫中存儲的二維表數據。