[發(fā)明專利]數(shù)據(jù)同步方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202010818478.0
• 申請日: 2020-08-14
• 公開（公告）號: CN111984660A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設計）人: 李桐
• 申請（專利權）人: 上海好屋網信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京商專潤文專利代理事務所(普通合伙) 11317
• 代理人: 王祖悅

本公開提供了數(shù)據(jù)同步方法、裝置、設備及存儲介質，該方法包括：獲取數(shù)據(jù)同步配置信息，數(shù)據(jù)同步配置信息包括MySQL數(shù)據(jù)庫表與ElasticSearch文檔結構的映射；獲取MySQL數(shù)據(jù)庫的數(shù)據(jù)更新信息；根據(jù)數(shù)據(jù)同步配置信息和數(shù)據(jù)更新信息，生成ElasticSearch更新文檔；根據(jù)ElasticSearch更新文檔，更新ElasticSearch。本公開建立MySQL數(shù)據(jù)庫表與ElasticSearch文檔結構的映射，實現(xiàn)Mysql數(shù)據(jù)庫與ElasticSearch之間的新增、更新和刪除同步，無需修改代碼或配置文件，減少工作量，提高數(shù)據(jù)同步的靈活性；滿足實際應用中的需求。

技術領域

本公開涉及計算機技術領域，尤其涉及數(shù)據(jù)同步方法、裝置、設備及存儲介質。

背景技術

從數(shù)據(jù)流的角度看，數(shù)據(jù)架構可以分為前后端兩個部分。前端為業(yè)務數(shù)據(jù)與日志收集系統(tǒng)，其中業(yè)務數(shù)據(jù)系統(tǒng)一般都是利用關系型數(shù)據(jù)庫實現(xiàn)，例如MySQL，PostgreSQL，后端為數(shù)據(jù)分析與處理系統(tǒng)，例如ElasticSearch搜索引擎，Redshift數(shù)據(jù)倉庫，基于S3的Hadoop系統(tǒng)等等，或者基于Spark Steam的實時分析后端。

目前MySQL數(shù)據(jù)庫與ElasticSearch搜索引擎的同步開源組件主要有：Elasticsearch-jdbc、Logstash-jdbc和Canal。

以上組件在實現(xiàn)數(shù)據(jù)同步時，存在以下問題：

(1)在每次添加新的要同步的表或者是修改同步的表字段時，都需要修改代碼或者配置文件，工作量大，靈活度不高，無法實現(xiàn)快速簡便的修改；

(2)配置信息通常保存在同步開源組件的配置文件中，沒有歷史記錄和修改版本供操作人員查看，沒有可視化的配置頁面，只能通過修改代碼實現(xiàn)同步，操作復雜，管理難度大，耗費大量人力和時間；

(3)只有單表的數(shù)據(jù)同步，無法實現(xiàn)多表同步，同步形式單一，無法滿足實際使用中的多樣需求。

發(fā)明內容

本公開針對上述問題，提出數(shù)據(jù)同步方法、裝置、存儲介質及設備。

為了解決上述技術問題中的至少一個，本公開提出如下技術方案：

第一方面，提供了數(shù)據(jù)同步方法，包括以下步驟：

獲取數(shù)據(jù)同步配置信息，數(shù)據(jù)同步配置信息包括MySQL數(shù)據(jù)庫表與ElasticSearch文檔結構的映射；

獲取MySQL數(shù)據(jù)庫的數(shù)據(jù)更新信息；

根據(jù)數(shù)據(jù)同步配置信息和數(shù)據(jù)更新信息，生成ElasticSearch更新文檔；

根據(jù)ElasticSearch更新文檔，更新ElasticSearch。

第二方面，提供了數(shù)據(jù)同步裝置，用于執(zhí)行上述任一數(shù)據(jù)同步方法，包括：

配置信息獲取模塊，用于獲取數(shù)據(jù)同步配置信息，數(shù)據(jù)同步配置信息包括MySQL數(shù)據(jù)庫表與ElasticSearch文檔結構的映射；

數(shù)據(jù)更新獲取模塊，用于獲取MySQL數(shù)據(jù)庫的數(shù)據(jù)更新信息；

更新文檔生成模塊，用于根據(jù)數(shù)據(jù)同步配置信息和數(shù)據(jù)更新信息，生成ElasticSearch更新文檔；

ElasticSearch同步模塊，用于根據(jù)ElasticSearch更新文檔，更新ElasticSearch。

第三方面，提供了一種數(shù)據(jù)同步設備，數(shù)據(jù)同步設備包括處理器和存儲器，存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，至少一條指令、至少一段程序或指令集由處理器加載并執(zhí)行以實現(xiàn)上述任一的數(shù)據(jù)同步方法。