[發明專利]數據處理方法及系統

有效

• 申請號: 201911326062.0
• 申請日: 2019-12-20
• 公開（公告）號: CN111159112B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王勝杰
• 申請（專利權）人: 新華三大數據技術有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 高萍

1.一種數據處理方法，其特征在于，應用于數據處理系統，所述系統包括至少一個映射Map節點、分發Shuffle節點、至少一個歸約Reduce節點以及導入DoBulkload節點，所述方法包括：

所述Map節點對待處理數據進行處理，得到待寫入數據、所述待寫入數據對應的行健Rowkey以及所述待寫入數據所屬表的標識；

所述Shuffle節點根據所述待寫入數據所屬表的標識和所述待寫入數據對應的Rowkey，確定處理所述待寫入數據的目標Reduce節點，并將所述待寫入數據、所述待寫入數據對應的Rowkey以及所述待寫入數據所屬表的標識發送至所述目標Reduce節點；

所述目標Reduce節點將所述待寫入數據和所述待寫入數據對應的Rowkey，寫入所述待寫入數據所屬表對應的臨時目錄下的HFile文件中；

所述DoBulkload節點將表對應的臨時目錄下的HFile文件，轉移至該表對應的實際目錄下。

2.如權利要求1所述的方法，其特征在于，所述Map節點對待處理數據進行處理，得到待寫入數據、所述待寫入數據對應的Rowkey以及所述待寫入數據所屬表的標識，包括：

獲取已創建的表的特征；

從所述待處理數據中，提取與所述表的特征匹配的待寫入數據；

根據預設的生成規則，生成所述待寫入數據對應的Rowkey；

將所述待寫入數據所匹配的表的標識，確定為所述待寫入數據所屬表的標識。

3.如權利要求1所述的方法，其特征在于，所述Shuffle節點根據所述待寫入數據所屬表的標識和所述待寫入數據對應的Rowkey，確定處理所述待寫入數據的目標Reduce節點之前，所述方法還包括：

所述Map節點根據所述待寫入數據對應的Rowkey和所述待寫入數據所屬表的標識，生成所述待寫入數據對應的目標鍵；

所述Shuffle節點解析所述目標鍵，獲取所述待寫入數據對應的Rowkey和所述待寫入數據所屬表的標識。

4.如權利要求3所述的方法，其特征在于，所述Map節點根據所述待寫入數據對應的Rowkey和所述待寫入數據所屬表的標識，生成所述待寫入數據對應的目標鍵，包括：

所述Map節點將所述待寫入數據所屬表的標識與所述待寫入數據對應的Rowkey拼接，作為所述待寫入數據對應的目標鍵。

5.如權利要求1所述的方法，其特征在于，所述Shuffle節點根據所述待寫入數據所屬表的標識和所述待寫入數據對應的Rowkey，確定處理所述待寫入數據的目標Reduce節點，包括：

針對每一個Reduce節點，獲取預先配置的該Reduce節點對應的Region的Rowkey范圍以及該Region所屬表的標識；

根據所述待寫入數據所屬表的標識和所述待寫入數據對應的Rowkey，匹配預先配置的各Reduce節點對應的Rowkey范圍以及表的標識；

將匹配到的Reduce節點確定為處理所述待寫入數據的目標Reduce節點。

6.一種數據處理系統，其特征在于，所述系統包括至少一個映射Map節點、分發Shuffle節點、至少一個歸約Reduce節點以及導入DoBulkload節點，其中：

所述Map節點，用于對待處理數據進行處理，得到待寫入數據、所述待寫入數據對應的行健Rowkey以及所述待寫入數據所屬表的標識；

所述Shuffle節點，用于根據所述待寫入數據所屬表的標識和所述待寫入數據對應的Rowkey，確定處理所述待寫入數據的目標Reduce節點，并將所述待寫入數據、所述待寫入數據對應的Rowkey以及所述待寫入數據所屬表的標識發送至所述目標Reduce節點；

所述目標Reduce節點，用于將所述待寫入數據和所述待寫入數據對應的Rowkey，寫入所述待寫入數據所屬表對應的臨時目錄下的HFile文件中；

所述DoBulkload節點，用于將表對應的臨時目錄下的HFile文件，轉移至該表對應的實際目錄下。