[發明專利]一種基于Hadoop的海量數據處理方法和裝置

在審

• 申請號: 201511009913.0
• 申請日: 2015-12-29
• 公開（公告）號: CN105512336A
• 公開（公告）日: 2016-04-20
• 發明（設計）人: 王明龍;王力;彭塨燁;謝瀟宇;王偉;包辰明;趙金鑫;張舜華;陳暑生
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利代理有限公司 44202
• 代理人: 溫旭;郝傳鑫

1.一種基于Hadoop的海量數據處理方法，其特征在于，所述方法包括：

采集數據，

將所采集的數據進行整合，

將整合后的數據存入Hbase數據庫，

根據所述Hbase數據庫中數據的更新周期分別進行指標統計，

把指標統計的結果存入關系型數據庫。

2.根據權利要求1所述的方法，其特征在于，所述采集數據包括：在前 端頁面嵌入javascript腳本和rsyslog異步日志采集日志數據，和/或，通過rsync 同步采集應用服務器的業務數據。

3.根據權利要求1所述的方法，其特征在于，所述將所采集的數據進行 整合是基于FlumeNG框架。

4.根據權利要求3所述的方法，其特征在于，所述采集的數據在FlumeNG 框架中以文件類型的隊列進行緩存。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述指標統計的結果保存為定期快照文件，并通過BDE將所述定期快 照文件向外提供。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

接收用戶輸入的查詢條件，并根據所述查詢條件訪問所述關系型數據庫 來獲取所述指標統計的結果，然后將所述指標統計的結果向所述用戶展示。

7.一種基于Hadoop的海量數據處理裝置，其特征在于，所述裝置包括：

采集模塊，用于采集數據；

整合模塊，用于將所述采集模塊所采集的數據進行整合；

存儲模塊，用于將所述整合模塊整合后的數據存入Hbase數據庫，

加工模塊，用于根據所述Hbase數據庫中數據的更新周期分別進行指標統 計，其中，

所述存儲模塊，還用于將所述加工模塊的指標統計的結果存入關系型數 據庫。

8.根據權利要求7所述的裝置，其特征在于，所述采集模塊采集數據包 括：在前端頁面嵌入javascript腳本和rsyslog異步日志采集日志數據，和/或， 通過rsync同步采集應用服務器的業務數據。

9.根據權利要求7所述的裝置，其特征在于，所述整合模塊是基于Flume NG框架。

10.根據權利要求9所述的裝置，其特征在于，所述整合模塊在FlumeNG 框架中以文件類型的隊列進行緩存。

11.根據權利要求7所述的裝置，其特征在于，所述加工模塊，還用于將 所述指標統計的結果保存為定期快照文件，并通過BDE將所述定期快照文件 向外提供。

12.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

展現模塊，用于接收用戶輸入的查詢條件，并根據所述查詢條件訪問所 述關系型數據庫獲取所述指標統計的結果，然后將所述指標統計的結果向所 述用戶展示。