[發明專利]數據同步方法、裝置、電子設備及計算機可讀存儲介質

有效

• 申請號: 202010163241.3
• 申請日: 2020-03-10
• 公開（公告）號: CN113377863B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 熊嘉男
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 劉真

本發明實施例公開了一種數據同步方法、裝置、電子設備及計算機可讀存儲介質，所述方法包括：響應于接收到數據同步任務，數據同步主服務器將所述數據同步任務拆分為兩個或多個數據同步子任務；所述數據同步主服務器將所述數據同步子任務分配給數據同步從服務器；所述數據同步從服務器根據分配得到的所述數據同步子任務創建數據同步通道，并借助所述數據同步通道將源數據端中的數據同步至目標數據端。該技術方案能夠在不增加數據負載壓力的情況下，有效實現從RDS到HBase的實時數據同步和列數據同步，同時還能夠克服不同版本HBase之間的版本兼容問題。

技術領域

本發明實施例涉及數據庫數據控制技術領域，具體涉及一種數據同步方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

隨著數據技術的發展，數據庫的應用也越來越廣泛。HBase是一種常用的分布式Nosql非關系型數據庫，相比于RDS(Relational Database Service)關系型數據庫，HBase具有數據的切分治理全自動，對數據寫入十分友好，支持動態列等特點，因此對于某一些應用場景，HBase能夠很好的彌補RDS的不足。鑒于上述HBase的特點，在某些應用場景中需要將RDS數據同步至HBase中，比如：1、為了不影響在線業務的查詢，需要將在線業務數據同步至HBase，以結合其他大數據組件進行離線數據分析；2、利用HBase支持動態列的功能，將mysql中的多張表構建成一張HBase寬表，以基于HBase實現寬表查詢；3、將HBase實現為RDS的歷史數據庫，即將RDS中的歷史數據存至HBase中，使RDS只存儲熱數據，以節約RDS存儲成本。但目前還未存在將RDS實時數據有效同步至HBase的技術方案。

現有技術中開源的數據傳遞工具Sqoop和Datax可以借助MapReduce(大規模數據集并行運算工具)來將RDS歷史存量數據遷移至HBase，具體地，Sqoop根據RDS表中的字段將遷移任務拆分成多個子任務，每個子任務通過JDBC(Java DataBase Connectivity，Java數據庫連接)讀取RDS對應區間中的數據，然后再通過調用HBase客戶端API將數據寫入到目標HBase集群中。上述方案雖然能夠實現數據的遷移，但存在以下缺陷：1、只能夠支持全量數據的批量遷移，若想實現增量數據遷移，需要定期啟動Sqoop任務來同步近一段時間的增量數據，因此無法實現低延遲的實時數據同步；2、需通過JDBC讀取RDS的數據，大表的數據遷移會產生大量查詢請求訪問RDS，進而導致RDS的負載變高影響線上業務；3、RDS和HBase表結構之間的映射不夠靈活，不支持將RDS表中的列同步至HBase中；4、同步至不同版本的HBase存在版本兼容問題。

發明內容

本發明實施例提供一種數據同步方法、裝置、電子設備及計算機可讀存儲介質。

第一方面，本發明實施例中提供了一種數據同步方法。

具體的，所述數據同步方法，包括：

響應于接收到數據同步任務，數據同步主服務器將所述數據同步任務拆分為兩個或多個數據同步子任務；

所述數據同步主服務器將所述數據同步子任務分配給數據同步從服務器；

所述數據同步從服務器根據分配得到的所述數據同步子任務創建數據同步通道，并借助所述數據同步通道將源數據端中的數據同步至目標數據端。

結合第一方面，本發明實施例在第一方面的第一種實現方式中，所述數據同步從服務器根據分配得到的所述數據同步子任務創建數據同步通道，并借助所述數據同步通道將源數據端中的數據同步至目標數據端，包括：

所述數據同步從服務器根據分配得到的所述數據同步子任務創建數據同步通道，其中，所述數據同步通道至少包括：數據讀取器、數據轉換器、數據存儲隊列和數據寫入器；

所述數據讀取器讀取所述源數據端中的源數據；