[發明專利]異構數據同步方法及裝置

有效

• 申請號: 202010568591.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111666344B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 劉娟;李軍剛;王志鋒;楊凱;韋海燕;鄭楚澤;顏昭霞;蘇博威
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2457;G06F16/28;G06F9/54
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本發明公開了一種異構數據同步方法，包括：采集、解析關系型數據庫的binlog，生成解析數據，將所述解析數據發送至kafka消息隊列，作為消息數據；加工所述消息數據，得到映射值，并將所述映射值寫入非關系型數據庫。使用此方法通過使用kafka消息隊列和配置異構數據庫中對應數據關系，實現異構數據庫中數據的一致性，此方法使同一業務系統中根據業務需求使用不同數據結構的數據庫這一繁瑣的過程得以簡化，為業務與應用的實現提供了極大的便利性和靈活性。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種異構數據同步方法和裝置。

背景技術

常見的金融行業業務系統實現，根據其技術和業務特點，會采用關系型數據庫或者非關系型數據庫其中一種作為其數據存儲層實現，但是不同的存儲選型對于數據模型的設計與實現，都會存在一定的局限性。無論是關系型數據庫還是非結構化數據庫都有其不足之處，關系型數據的海量數據讀寫性能較差，而非結構化數據庫雖在海量數據讀寫性能較好，但其在事務處理，復雜查詢方面難以滿足業務需求。對于應用層的設計與開發而言，難以同時利用兩種類型數據庫的優勢。

為應用層更加友好，便于業務的靈活設計，需要同時采用兩種類型的數據庫，要實現異構數據庫中存儲數據的統一，就會面臨數據復制與管理困難，數據不一致等問題。

發明內容

基于此，本發明提供一種異構數據同步的方法和裝置，能夠基于異構數據配置化實現異構數據一致性的目的，此方法整合兩種數據模型，通過配置對應關系，保證一份數據一致地同步在關系型數據庫與非結構化數據庫中。

本發明第一個方面，提供一種異構數據同步方法，該方法包括：

采集、解析關系型數據庫的binlog，生成解析數據，將所述解析數據發送至kafka消息隊列，作為消息數據；

加工所述消息數據，得到映射值，并將所述映射值寫入非關系型數據庫。

具體地，該方法還包括：

元數據管理系統配置所述數據模型映射關系、所述數據表映射關系。

具體地，所述采集、解析關系型數據庫的binlog，將經過解析的所述關系型數據庫binlog發送至kafka消息隊列包括：

判斷所述解析數據是否存在映射關系，若存在，將所述關系型數據庫binlog轉化成json數據，再將序列化后的所述json數據發送至所述kafka消息隊列。

具體地，所述加工所述消息數據，得到映射值，并將所述映射值寫入非關系型數據庫包括：

storm循環消費所述kafka消息隊列中的所述json數據；

所述storm根據所述元數據管理系統中的數據表映射關系，將所述json數據的映射值插入所述非關系型數據庫。

具體地，該方法還包括：

所述storm將elasticsearch作為加工所述消息數據的載體；

所述elasticsearch作為所述非結構數據庫的二級索引。

本發明第二個方面，提供一種異構數據同步裝置，該裝置包括：

采集模塊，用于采集、解析關系型數據庫的binlog，將經過解析的所述關系型數據庫binlog發送至kafka消息隊列，其中所述經過解析的關系型數據庫binlog為消息數據；

加工模塊，用于加工所述消息數據，得到映射值，并將所述映射值寫入非關系型數據庫。

具體地，所述裝置還包括：

元數據管理系統，用于配置所述數據模型映射關系、所述數據表映射關系。