[發明專利]一種增量數據實時同步的方法及相關設備

在審

• 申請號: 202011284996.5
• 申請日: 2020-11-17
• 公開（公告）號: CN112487087A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 宋洋;安靖;胡瀟涵;劉佳;王毅;崔貝貝
• 申請（專利權）人: 中國人壽保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

本說明書一個或多個實施例提供一種增量數據實時同步的方法及相關設備，通過從配置文件中讀取MongoDB數據集合，創建數據的同步線程，所述同步線程將數據轉換格式并發送到Kafka中，并將異步發送立刻返回的返回值加入到發送列表中，判斷所述發送列表的數據量是否達到閾值，確認是否有數據發送失敗并作出相應處理，使得其他業務系統通過消費同步到Kafka中的數據，實現了系統之間隔離，避免了不同系統的互相影響，降低了系統運行的風險；同時還實現了數據之間的共享，利于探索不同的應用場景，發揮數據更大的價值，提升了系統的反應速度和用戶體驗。

技術領域

本說明書一個或多個實施例涉及數據同步技術領域，尤其涉及一種增量數據實時同步的方法及相關設備。

背景技術

目前網絡技術飛速發展，數據以指數級的速度增長，各種系統之間的數據有一定的內在聯系，如何打通數據之間的壁壘，實現各系統數據之間的有效融合，挖掘數據的價值，對公司的發展有著至關重要的作用。

MongoDB是一個高性能、無模式的文檔型數據庫，是當前noSql數據庫產品中最熱門的一種，他支持的數據結構非常松散，是類似json的bjson格式，因此可以存儲比較復雜的數據類型，而且支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。它是一個面向集合的,模式自由的文檔型數據庫。oplog是Mongodb保存操作日志的固定集合，MongoDB主節點應用業務操作修改到數據庫中，然后記錄這些操作到oplog中，從節點復制這些oplog，然后應用這些修改，保持主從同步，可以利用oplog實現MongoDB增量數據的實時同步，其中，增量數據指數據庫進行修改后新增的數據。

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。具有高性能、持久化、多副本備份、橫向擴展能力等優點，用于構建實時數據管道和流應用程序。

Redis基于內存的數據庫，讀寫性能十分優越，可以支持每秒十幾萬此的讀/寫操作。

將MongoDB增量數據實時同步到Kafka可以提供給下游系統消費，同時減輕業務系統的壓力。

目前需要MongoDB業務數據的其他系統，有兩種可行方案可以獲得MongoDB的業務數據，一種是直接連接MongoDB業務系統來獲取需要的數據，一種是以批作業的形式定時拉取MongoDB的現有存量數據，然后存儲到對應系統的數據庫中。然而直連使用MongoDB系統會加大MongoDB業務系統的訪問壓力，對MongoDB業務系統運行會產生影響，同時直連MongoDB業務系統也會對數據的安全性產生不利影響。另外批作業定時拉取的方式，有一定的延遲性，數據不是實時數據，同時每次拉取全部存量數據不論對MongoDB業務系統還是對需要MongoDB數據的其他系統都有不小的壓力，對系統正常運行產生不利影響。

發明內容

有鑒于此，本說明書一個或多個實施例的目的在于提出一種增量數據實時同步的方法及相關設備。

基于上述目的，本說明書一個或多個實施例提供了一種增量數據實時同步的方法，包括：

從配置文件中讀取需要同步的MongoDB數據集合，創建數據的同步線程；

所述同步線程從oplog中讀取對應的所述MongoDB數據集合的數據，將讀取到的所述MongoDB數據集合的數據轉換成json格式；

所述同步線程將所述json格式的數據加入到發送列表中并異步發送到與所述MongoDB數據集合對應的Kafka的主題中，同時將異步發送立刻返回的返回值加入到發送列表中；