[發明專利]數據同步方法、裝置、設備及存儲介質

在審

• 申請號: 202010818478.0
• 申請日: 2020-08-14
• 公開（公告）號: CN111984660A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 李桐
• 申請（專利權）人: 上海好屋網信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京商專潤文專利代理事務所(普通合伙) 11317
• 代理人: 王祖悅

1.數據同步方法，其特征在于，包括以下步驟：

獲取數據同步配置信息，所述數據同步配置信息包括MySQL數據庫表與ElasticSearch文檔結構的映射；

獲取MySQL數據庫的數據更新信息；

根據所述數據同步配置信息和所述數據更新信息，生成ElasticSearch更新文檔；

根據所述ElasticSearch更新文檔，更新ElasticSearch。

2.根據權利要求1所述的數據同步方法，其特征在于，所述獲取數據同步配置信息，具體包括：

在web端訪問數據同步配置界面，加載存儲在數據庫中的所述數據同步配置信息。

3.根據權利要求1所述的數據同步方法，其特征在于，所述獲取MySQL數據庫的數據更新信息，具體包括，

監聽Canal并實時獲取Entry對象，所述Entry對象由所述Canal解析所述MySQL數據庫的bin_log信息生成；

對所述Entry對象進行解析；

獲取所述MySQL數據庫的數據更新信息。

4.根據權利要求1所述的數據同步方法，其特征在于，所述根據所述數據同步配置信息和所述數據更新信息，生成ElasticSearch更新文檔具體包括，

根據所述數據更新信息選擇相應的所述數據同步配置信息；

根據所述數據同步配置信息獲取相應的SQL和數據ID；

根據所述SQL和所述數據ID在所述MySQL數據庫中查詢相應的數據；

根據查詢結果生成ElasticSearch更新文檔。

5.根據權利要求1所述的數據同步方法，其特征在于，所述根據所述ElasticSearch更新文檔更新ElasticSearch，具體包括，

將所述ElasticSearch更新文檔寫入Kafka消息隊列；

Logstash拉取所述Kafka消息隊列中的數據；

將所述Kafka消息隊列中的數據寫入ElasticSearch。

6.根據權利要求1所述的數據同步方法，其特征在于，所述映射的建立方法，包括以下步驟，

獲取MySQL數據庫的表結構；

獲取MySQL數據庫表中的更新字段；

創建ElasticSearch文檔結構；

獲取所述ElasticSearch文檔結構的屬性；

將所述MySQL數據庫表中的更新字段與所述ElasticSearch文檔結構的屬性一一映射；

保存映射。

7.數據同步裝置，用于執行權利要求1至6任一所述數據同步方法，其特征在于，包括：

配置信息獲取模塊，用于獲取數據同步配置信息，所述數據同步配置信息包括MySQL數據庫表與ElasticSearch文檔結構的映射；

數據更新獲取模塊，用于獲取MySQL數據庫的數據更新信息；

更新文檔生成模塊，用于根據所述數據同步配置信息和所述數據更新信息，生成ElasticSearch更新文檔；

ElasticSearch同步模塊，用于根據所述ElasticSearch更新文檔，更新ElasticSearch。

8.根據權利要求7所述的數據同步裝置，其特征在于，還包括映射生成模塊，包括：

表結構獲取單元，用于獲取MySQL數據庫的表結構；

更新字段獲取單元，用于獲取MySQL數據庫表中的更新字段；

文檔結構創建單元，用于創建ElasticSearch文檔結構；

屬性獲取單元，用于獲取所述ElasticSearch文檔結構的屬性；

映射單元，用于將所述MySQL數據庫表中的更新字段與所述ElasticSearch文檔結構的屬性一一映射；

映射存儲單元，用于保存映射。