[發明專利]基于報文解析的數據復制鏈路優化方法及裝置

有效

• 申請號: 201910698794.6
• 申請日: 2019-07-31
• 公開（公告）號: CN110417892B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 鐘小威;孟江;李奇偉
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 孫乳筍;王濤

本發明實施例公開了一種基于報文解析的數據復制鏈路優化方法及裝置，該優化方法包括：獲取主機端發送的MQ報文，并將所述MQ報文放入緩存，其中，所述MQ報文包括：消息ID以及報文的字段偏移量信息；根據所述消息ID確定所述MQ報文對應的主機表，并獲取所述主機表對應的預設的復制預定參數；根據所述復制預定參數以及所述字段偏移量信息從所述MQ報文中提取字段數據，并組合成平臺端報文；將所述平臺端報文發送到平臺分布式消息引擎，以使平臺端的數據庫從所述平臺分布式消息引擎獲取相應的平臺端報文。本發明解決了由于受CDC的限制導致現有的主機到平臺數據復制鏈路的數據復制性能不理想的技術問題。

技術領域

本發明涉及數據復制領域，具體而言，涉及一種基于報文解析的數據復制鏈路優化方法及裝置。

背景技術

在IT架構轉型的背景下，許多主機核心應用也轉向了開放平臺技術的陣地，從而產生了海量的主機到平臺的數據共享需求。然而，當前主機到平臺分布式消息引擎(KAFKA)或者MYSQL數據庫的數據復制，必須要通過在ORACLE中轉庫+CDC(IBM的端到端復制工具)的復制鏈路。如圖2所示，優化前主機到平臺數據復制鏈路為：主機MQ(消息隊列)將MQ報文從主機端發送到開放平臺端，由平臺MQ接收，報文需要發送到平臺ORACLE數據庫中進行中轉進而發送到CDC單元，最終報文從CDC單元發送到KAFKA實現被MYSQL數據庫獲取。該據復制鏈路存在中間鏈路多、時效低、環節復雜等問題。這些問題不僅降低了數據復制速度，也影響到了數據復制鏈路運行的穩定性。CDC產品在壓測中最高只能到1.5萬筆/每秒左右的性能，該性能遠遠無法滿足我行主機核心業務下平臺的海量數據需求。為了提升數據復制的性能和時效、同時避免鏈路復雜這個問題，企業需要考慮新的簡潔的復制鏈路優化方法。

本發明為了解決上述技術問題中的至少一個，提出了一種基于報文解析的數據復制鏈路優化方法及裝置。

需要說明的時，上述背景技術中介紹的優化前主機到平臺數據復制鏈路僅為闡述清楚本發明所要解決的技術問題，不能理解為是本領域的現有技術。

發明內容

本發明的主要目的在于提供一種基于報文解析的數據復制鏈路優化方法及裝置，以解決由于受CDC的限制導致現有的主機到平臺數據復制鏈路的數據復制性能不理想的技術問題。

為了實現上述目的，根據本發明的一個方面，提供了一種基于報文解析的數據復制鏈路優化方法，該方法包括：

獲取主機端發送的MQ報文，并將所述MQ報文放入緩存，其中，所述MQ報文包括：消息ID以及報文的字段偏移量信息；

根據所述消息ID確定所述MQ報文對應的主機表，并獲取所述主機表對應的預設的復制預定參數，其中，所述復制預定參數包括：復制的字段數據類型、復制的字段名稱以及復制的字段長度；

根據所述復制預定參數以及所述字段偏移量信息從所述MQ報文中提取字段數據，并組合成平臺端報文，其中，所述平臺端報文包含所述MQ報文對應的主機表的表名信息；

將所述平臺端報文發送到平臺分布式消息引擎，以使平臺端的數據庫從所述平臺分布式消息引擎獲取相應的平臺端報文。

可選的，所述將所述平臺端報文發送到平臺分布式消息引擎，具體包括：

通過生產者線程將平臺端報文發送到所述平臺分布式消息引擎中的對應的消息引擎集群，其中，所述生產者線程配置有該消息引擎集群的IP、端口信息以及設置的該消息引擎集群對應的表名信息。

可選的，所述將所述平臺端報文發送到平臺分布式消息引擎，具體包括：

為所述平臺端報文配置ID標識信息；

在發送成功后，將所述ID標識信息添加到成功處理列表中。

可選的，該方法還包括：