[發明專利]一種基于storm的數據ETL系統及處理方法

有效

• 申請號: 201510533323.1
• 申請日: 2015-08-27
• 公開（公告）號: CN105205105B
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 曹連超;盧軍佐;亓開元
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于storm的數據ETL系統，其特征是包括控制器模塊、連接器模塊和分布式計算引擎；

控制器模塊負責接收用戶輸入信息，替分布式計算引擎選擇數據源和目標數據存儲的連接器，設置分布式計算引擎的ETL拓撲結構，設置完成后調用分布式計算引擎發起ETL任務；

連接器模塊內置關系型數據庫、Hbase數據庫和HDFS的連接驅動，供分布式計算引擎在連接數據源和目標數據存儲時調用；

分布式計算引擎采用分布式的流數據處理框架storm進行ETL處理，由控制器模塊配置并發起任務，負責數據的抽取、清洗和加載任務，將數據寫入目標數據存儲；

其中控制器模塊解析用戶輸入信息，其中用戶輸入信息包括sql語句、數據源表名、數據源連接字符串、目標數據存儲的連接字符串、執行ETL的線程數、目標數據的字段分隔符和換行符；

控制器模塊從連接器模塊中選擇數據源和目標存儲的連接器，控制器模塊配置分布式計算引擎的拓撲結構，過程為：控制器模塊查詢數據源表的總條數，對sql語句進行改寫，根據用戶輸入的線程數設置每個ETL線程的數據邊界，控制器模塊從關系型數據庫中抽取數據的spout、負責清洗數據的bolt和往目標數據存儲寫數據的bolt，將連接驅動分別賦給spout和寫目標數據的bolt，完成storm的spout和bolt的拓撲結構的配置；

控制器模塊分配連接器并啟動ETL任務；分布式計算引擎從數據源抽取數據，進行數據清洗，然后將數據寫入目標數據存儲。

2.根據權利要求1所述的一種基于storm的數據ETL系統，其特征是所述拓撲結構包括執行的線程數、每個線程需要抽取的數據源劃分、需要清洗的數據字段。

3.一種基于storm的數據ETL處理方法，其特征是利用權利要求1或2所述一種基于storm的數據ETL系統，控制器模塊解析用戶輸入信息，其中用戶輸入信息包括sql語句、數據源表名、數據源連接字符串、目標數據存儲的連接字符串、執行ETL的線程數、目標數據的字段分隔符和換行符；

控制器模塊從連接器模塊中選擇數據源和目標存儲的連接器，控制器模塊配置分布式計算引擎的拓撲結構，過程為：控制器模塊查詢數據源表的總條數，對sql語句進行改寫，根據用戶輸入的線程數設置每個ETL線程的數據邊界，控制器模塊從關系型數據庫中抽取數據的spout、負責清洗數據的bolt和往目標數據存儲寫數據的bolt，將連接驅動分別賦給spout和寫目標數據的bolt，完成storm的spout和bolt的拓撲結構的配置；

控制器模塊分配連接器并啟動ETL任務；分布式計算引擎從數據源抽取數據，進行數據清洗，然后將數據寫入目標數據存儲。