[發明專利]一種基于canal和kafka實現實時數倉的系統

在審

• 申請號: 201810877574.5
• 申請日: 2018-08-03
• 公開（公告）號: CN109325077A
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 衛翀
• 申請（專利權）人: 北京馬上慧科技術有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙) 11548
• 代理人: 李靜

一種基于canal和kafka實現實時數倉的系統，包括Canal?Server、Canal?Client、Consumer?plugin?man和admin?ods，Canal?Server和Canal?Client相連接，Canal?Client通過kafka與Consumer?plugin?man相連接，admin?ods也與Consumer?plugin?man相連接，所述Consumer?plugin?man與Hbase相連接；所述Hbase連接有ElasticSearch，ElasticSearch連接有Databus?query，Databus?query連接有atabus?api。本發明的有益效果是將數據源、數據處理、數據寫入解耦并統一管理，靈活配置，大大簡化研發成本，易維護，支持不同生產環境下部署同一或不同數據倉庫中的數據接入，實現一次研發，多處并靈活使用。

技術領域

本發明涉及互聯網技術領域，具體涉及一種基于canal和kafka實現實時數倉的系統。

背景技術

隨著互聯網技術的飛速發展，大數據時代已經到來，實時數據采集、同步、計算并及時響應和反饋結果成為根據業務的實時變化及時調整策略并快速響應執行解決方案中至關重要的環節。本發明主要解決其中的數據同步環節。其主要內容是：在不影響業務方正常業務的情況下從業務數據庫同步實時數據和歷史數據到大數據倉庫以供后續的變量計算等操作提供有效實時的數據。

Canal，是阿里巴巴集團使用純java開發的一套基于數據庫增量日志解析、提供增量數據訂閱&消費、目前主要支持了mysql數據庫的同步系統。

Kafka，是最初由Linkedin公司開發，是一個分布式、支持分區的(partition)、多副本的(replica)，基于zookeeper協調的分布式消息系統，它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景：比如基于hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎，web/nginx日志、訪問日志，消息服務等，用scala語言編寫，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目。

目前宜信也有過類似系統，借鑒了Linkedin的思想通過Canal和Kafka來實現數據同步操作。

但是，其維度單一，添加、減少所對接的業務線不方便，無法根據對接業務線控制并發量，不同集群之間的kafka、hbase、elasticsearch無法寫入。

發明內容

為實現上述目的，本發明提供如下技術方案：

一種基于canal和kafka實現實時數倉的系統，包括Canal-Server、Canal-Client、Consumer-plugin-man和admin-ods，Canal-Server和Canal-Client相連接，Canal-Client通過kafka與Consumer-plugin-man相連接，admin-ods也與Consumer-plugin-man相連接，所述Consumer-plugin-man與Hbase相連接；所述Hbase連接有ElasticSearch，ElasticSearch連接有Databus-query，Databus-query連接有atabus-api。

作為本發的再進一步技術方案是：所述admin-ods通過meta-data與Hbase相連接。

作為本發明的再進一步技術方案是：所述Consumer-plugin-man通過some rules與ElasticSearch。

作為本發明的再進一步技術方案是：所述Canal-Server通過binlog changes與Mysql相連接。