[發明專利]一種實時ETL數據流轉換處理技術方法與系統

在審

• 申請號: 201711367085.7
• 申請日: 2017-12-18
• 公開（公告）號: CN107908797A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 朱志剛;朱明磊
• 申請（專利權）人: 上海中暢數據技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海精晟知識產權代理有限公司31253
• 代理人: 吳慶

1.一種實時ETL數據流轉換處理技術方法，其特征在于：包括如下具體步驟：

1)首先進行數據標準化，將各種日志數據標準化成日志模板，系統性能指標和業務指標標準化成指標模板；

2)把上述的標準數據Avro序列化放入到kafka消息隊列；

3)Jstorm的kafka Spout模塊從kafka隊列中反序列化出數據，根據配置的SQL區分不同的模板，并分發到不同的分布式節點，格式化成內部SQL處理引擎的輸入源；

4)利用內部計算引擎的實時統計做統計計算；

5)利用內部計算引擎類SQL語句，進行數據合并、數據拆分和數據驗證；

6)經過Jstorm和內部計算引擎出來，可支持閾值報警，或者右輸出到kafka用于其他用途。

2.如權利要求1所述的一種實時ETL數據流轉換處理技術方法，其特征在于：在步驟1)中，模板主要包括時間戳、維度、度量值、附加值。

3.如權利要求1所述的一種實時ETL數據流轉換處理技術方法，其特征在于：在步驟4)中，支持實時count，sum，group by操作。

4.如權利要求1所述的一種實時ETL數據流轉換處理技術方法，其特征在于：在步驟5)中，數據合并：多指標關聯實現相交用join；數據拆分：按一定規則進行數據拆分；數據驗證：查詢關鍵字、去除無關記錄。

5.如權利要求1所述的一種實時ETL數據流轉換處理技術方法，其特征在于：Jstorm集群支持動態擴展，zookeeper實時通知動態更新配置。

6.一種采用如權利要求1-5所述的實時ETL數據流轉換處理技術方法的系統，其特征在于：實時ETL數據流轉換處理系統包括Web服務和Jstorm處理模塊，其中，Web服務包括zookeeper通知模塊、Sql配置模塊和數據標準化模塊；Jstorm處理模塊包括zk client實時通知模塊、反序列化模塊、SQL執行模塊、拉取和輸出kafka模塊、實時更新配置Sql模塊和異常處理模塊。