[發明專利]基于大數據的數據處理方法和裝置

有效

• 申請號: 201610827183.3
• 申請日: 2016-09-14
• 公開（公告）號: CN107818120B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 鄭壯杰
• 申請（專利權）人: 博雅網絡游戲開發（深圳）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/25;G06F16/28;G06F16/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 方高明

1.一種基于大數據的數據處理方法，包括：

實時監控并采集各個數據源的第一數據，所述第一數據為所述各個數據源的新增數據；

將所述第一數據傳輸至分布式消息系統進行存儲；

從所述分布式消息系統中讀取所述第一數據，并將所述第一數據轉化為預設格式，得到第二數據；

獲取與所述第二數據中預設字段的數據對應的數據處理框架，并將所述第二數據發送到與所述數據處理框架匹配的節點中，所述第二數據對應至少一個數據處理框架；

通過所述節點對所述第二數據進行處理，并將所述第二數據寫入與所述節點匹配的數據處理框架。

2.根據權利要求1所述的基于大數據的數據處理方法，其特征在于，所述實時監控并采集各個數據源的第一數據，包括：

實時監控指定的各個數據源；

當檢測到任一數據源中存在新增的第一數據時，則讀取所述第一數據；

解析所述第一數據，并將解析后的第一數據寫入管道中。

3.根據權利要求2所述的基于大數據的數據處理方法，其特征在于，所述將所述第一數據傳輸至分布式消息系統進行存儲，包括：

通過所述管道將所述第一數據傳輸至分布式消息系統的消息隊列；

依次根據所述消息隊列中第一數據的類別對所述第一數據進行存儲。

4.根據權利要求1所述的基于大數據的數據處理方法，其特征在于，所述數據處理框架包括Hive；

所述通過所述節點對所述第二數據進行處理，并將所述第二數據寫入與所述節點匹配的數據處理框架，包括：

通過與所述Hive匹配的節點將所述第二數據寫入Hive入庫文件；

將所述Hive入庫文件加載至預先建立的Hive臨時表；

每隔預設時間將所述Hive臨時表中的第二數據同步至與所述Hive臨時表對應的Hive正式表中。

5.根據權利要求1或4所述的基于大數據的數據處理方法，其特征在于，所述數據處理框架包括Hbase；

所述通過所述節點對所述第二數據進行處理，并將所述第二數據寫入與所述節點匹配的數據處理框架，包括：

通過與所述Hbase匹配的節點獲取預先定義的主鍵組成方式；

根據所述主鍵組成方式構建插入對象；

獲取所述插入對象中定義的各個字段對應的數據類型；

根據所述各個字段及對應的數據類型從所述第二數據中提取與各個字段匹配的數據；

將所述與各個字段匹配的數據轉化為字節數組，并插入到所述插入對象中；

將所述插入對象添加到列表中，并根據所述列表將所述第二數據導入所述Hbase。

6.一種基于大數據的數據處理裝置，其特征在于，包括：

采集模塊，用于實時監控并采集各個數據源的第一數據，所述第一數據為所述各個數據源的新增數據；

傳輸模塊，用于將所述第一數據傳輸至分布式消息系統進行存儲；

轉化模塊，用于從所述分布式消息系統中讀取所述第一數據，并將所述第一數據轉化為預設格式，得到第二數據；

發送模塊，用于獲取與所述第二數據中預設字段的數據對應的數據處理框架，并將所述第二數據發送到與所述數據處理框架匹配的節點中，所述第二數據對應至少一個數據處理框架；

處理模塊，用于通過所述節點對所述第二數據進行處理，并將所述第二數據寫入與所述節點匹配的數據處理框架。

7.根據權利要求6所述的基于大數據的數據處理裝置，其特征在于，所述采集模塊，包括：

監控單元，用于實時監控指定的各個數據源；

讀取單元，用于當檢測到任一數據源中存在新增的第一數據時，則讀取所述第一數據；

解析單元，用于解析所述第一數據，并將解析后的第一數據寫入管道中。

8.根據權利要求7所述的基于大數據的數據處理裝置，其特征在于，所述傳輸模塊，包括：

傳輸單元，用于通過所述管道將所述第一數據傳輸至分布式消息系統的消息隊列；

存儲單元，用于依次根據所述消息隊列中第一數據的類別對所述第一數據進行存儲。