[發明專利]一種數據同步方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010079768.8
• 申請日: 2020-02-04
• 公開（公告）號: CN111259081A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 褚占峰;江峰;丁曉波
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F16/22
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請提供一種數據同步方法、裝置、電子設備及存儲介質，所述方法包括：分別獲取各個存儲節點上的增量數據和增量數據對應的操作時間；基于操作時間對增量數據進行合并，以使得合并后的數據表中各個增量數據之間的排列順序對應于操作時間的先后次序；將合并后的數據表同步至目標數據庫中。通過本申請的技術方案可以提高數據同步效率。

技術領域

本申請涉及網絡技術領域，具體涉及一種數據同步方法、裝置、電子設備及存儲介質。

背景技術

隨著傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展和應用范圍的擴大，數據庫應用普遍建立于計算機網絡之上，在大型互聯網應用的場景中，并發的讀寫數據量非常龐大，往往高達上億甚至是數十億，大數據時代下的數據存儲及管理方式將直接影響著運營過程中的服務效率。

為了優化大數據時代下的數據存儲及管理方式，分布式數據庫系統應運而生，然而在對分布式數據庫中的數據進行同步的過程中，相關技術中所采用的全量同步的方式不僅同步效率低下，而且造成了對網絡資源的浪費、加重系統的運行負擔，尤其對于規模較大、分表數量較多的大型分布式數據庫而言，同步流程復雜、耗時較長等問題導致數據庫可靠性降低且維護難度升高。

發明內容

有鑒于此，本申請提供一種數據同步方法及裝置，以解決相關技術中數據同步效率低下、耗時較長等技術問題。

為實現上述目的，本申請提供技術方案如下：

根據本申請的第一方面，提出了一種數據同步方法，應用于分布式數據庫，所述分布式數據庫包含多個存儲節點，以用于對所述分布式數據庫中的數據進行分庫分表存儲；所述方法包括：

分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間；

基于所述操作時間對所述增量數據進行合并，以使得合并后的數據表中各個增量數據之間的排列順序對應于操作時間的先后次序；

將所述合并后的數據表同步至目標數據庫中。

可選的，所述增量數據和所述增量數據對應的操作時間是通過對所述存儲節點上的二進制日志文件進行增量解析而確定的。

可選的，所述獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間，包括：從各個存儲節點對應的緩存數據隊列中獲取對應于同一數據表標識的增量數據和所述增量數據對應的操作時間；

所述基于所述操作時間對所述增量數據進行合并，包括：對歸屬于同一數據表的增量數據按照操作時間的先后次序進行合并。

可選的，所述存儲節點對應默認緩存數據隊列和至少一個備用緩存數據隊列；還包括：

檢測所述存儲節點的默認緩存數據隊列的擁塞程度；

在所述默認緩存數據隊列處于擁塞狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至備用緩存數據隊列中；

在所述默認緩存數據隊列處于空閑狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至所述默認緩存數據隊列中。

可選的，所述分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間，包括：

確定各個存儲節點中記錄的增量數據的位置標識，所述位置標識用于表示最近一次完成增量解析處的位置信息；

將所述位置標識作為讀取增量數據的起始位置，以獲取所述位置標識之后的增量數據和所述增量數據對應的操作時間。

可選的，還包括：

周期性地觸發向所述目標數據庫同步各個存儲節點上對應于同一個數據表的增量數據。