[發(fā)明專利]數(shù)據(jù)同步的方法、裝置和終端設(shè)備

有效

• 申請?zhí)枺?/td>: 201910840696.1
• 申請日: 2019-09-06
• 公開（公告）號: CN110750592B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計）人: 丁永;鄭澤宏
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳中一專利商標事務(wù)所 44237
• 代理人: 郭鴻

1.一種數(shù)據(jù)同步的方法，其特征在于，包括：

采用預(yù)置的OGG工具，構(gòu)建源數(shù)據(jù)庫與目標數(shù)據(jù)庫之間的數(shù)據(jù)鏈路；

基于所述數(shù)據(jù)鏈路，生成所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道；

當檢測到針對所述源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流，所述字節(jié)流中攜帶有所述操作行為的時間信息；

通過所述多個數(shù)據(jù)傳輸通道，將所述字節(jié)流傳輸至所述目標數(shù)據(jù)庫，所述目標數(shù)據(jù)庫用于將所述字節(jié)流編譯為所述操作行為，并基于所述時間信息在所述目標數(shù)據(jù)庫中重演所述操作行為，以實現(xiàn)數(shù)據(jù)同步。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)鏈路，生成所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道的步驟包括：

采用預(yù)置的Docker組件和Kubernetes組件，分別在所述源數(shù)據(jù)庫和所述目標數(shù)據(jù)庫建立多個應(yīng)用容器；

基于預(yù)置的Zookeeper組件，分別在各個應(yīng)用容器中創(chuàng)建配置文件，生成Zookeeper實例；

通過將所述各個應(yīng)用容器中配置文件的參數(shù)設(shè)置為相同，建立所述各個應(yīng)用容器中的Zookeeper實例之間的通信連接，以構(gòu)建出Zookeeper消息集群；

將預(yù)置的Kafka組件注冊至所述Zookeeper消息集群中，獲得所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當檢測到針對所述源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流的步驟包括：

獲取所述源數(shù)據(jù)庫的日志文件，所述日志文件用于記錄針對所述源數(shù)據(jù)庫的各種操作行為，所述各種操作行為分別具有相應(yīng)的類型標識信息；

提取所述日志文件中所述類型標識信息為目標類型的目標信息，所述目標類型包括數(shù)據(jù)插入、數(shù)據(jù)更新及數(shù)據(jù)刪除；

將所述目標信息解析為字節(jié)流。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述多個數(shù)據(jù)傳輸通道，將所述字節(jié)流傳輸至所述目標數(shù)據(jù)庫的步驟包括：

確定所述多個數(shù)據(jù)傳輸通道中的主傳輸通道；

通過所述主傳輸通道，將所述字節(jié)流傳輸至所述目標數(shù)據(jù)庫；

復(fù)制所述字節(jié)流，得到所述字節(jié)流的多個備份文件，并將所述字節(jié)流的多個備份文件分別傳輸至多個非主傳輸通道進行存儲。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括：

當所述主傳輸通道阻塞時，從所述多個非主傳輸通道中確定新的主傳輸通道，通過所述新的主傳輸通道，將所述字節(jié)流的備份文件傳輸至所述目標數(shù)據(jù)庫；

在預(yù)設(shè)時間到達時，刪除存儲于所述多個非主傳輸通道中的所述字節(jié)流的多個備份文件。

6.一種數(shù)據(jù)同步的裝置，其特征在于，包括：

構(gòu)建模塊，用于采用預(yù)置的OGG工具，構(gòu)建源數(shù)據(jù)庫與目標數(shù)據(jù)庫之間的數(shù)據(jù)鏈路；

生成模塊，用于基于所述數(shù)據(jù)鏈路，生成所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫之間的多個數(shù)據(jù)傳輸通道；

解析模塊，用于當檢測到針對所述源數(shù)據(jù)庫中任一數(shù)據(jù)的操作行為時，將所述操作行為解析為字節(jié)流，所述字節(jié)流中攜帶有所述操作行為的時間信息；

同步模塊，用于通過所述多個數(shù)據(jù)傳輸通道，將所述字節(jié)流傳輸至所述目標數(shù)據(jù)庫，所述目標數(shù)據(jù)庫用于將所述字節(jié)流編譯為所述操作行為，并基于所述時間信息在所述目標數(shù)據(jù)庫中重演所述操作行為，以實現(xiàn)數(shù)據(jù)同步。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述解析模塊包括：

日志文件獲取子模塊，用于獲取所述源數(shù)據(jù)庫的日志文件，所述日志文件用于記錄針對所述源數(shù)據(jù)庫的各種操作行為，所述各種操作行為分別具有相應(yīng)的類型標識信息；

目標信息提取子模塊，用于提取所述日志文件中所述類型標識信息為目標類型的目標信息，所述目標類型包括數(shù)據(jù)插入、數(shù)據(jù)更新及數(shù)據(jù)刪除；

目標信息解析子模塊，用于將所述目標信息解析為字節(jié)流。