[發明專利]分布式數據同步方法、裝置、設備及介質

在審

• 申請號: 202010143241.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111459954A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 王盼
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2458;G06F16/27
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 詹建新

1.一種分布式數據同步方法，其特征在于，包括：

在分布式one-data集群中的one-data服務器上電時，獲取預設的配置文件，根據所述配置文件設置上電的所述one-data服務器的初始的配置參數，并將所述初始的配置參數記錄為執行參數；

根據上電的所述one-data服務器的所述執行參數中的注冊參數，定時向zookeeper服務器發送與上電的所述one-data服務器對應的注冊指令；

接收來自所述zookeeper服務器發送的包含領導者的第一選舉指令，第一選舉指令將與所述領導者對應的所述one-data服務器的所述注冊參數中的領導字段由注冊機更改為領導機；所述領導者是在所述zookeeper服務器根據接收到的所述分布式one-data集群中的各上電的所述one-data服務器發送的所述注冊指令之后，根據接收到的各所述注冊指令選舉出的一個所述one-data服務器；

在上電的所述one-data服務器的注冊參數中的所述領導字段為所述領導機時，令所述領導字段為所述領導機的所述one-data服務器根據所述執行參數中的監聽參數和所述第一選舉指令中的起始時間，定時監聽所有源服務器的源數據庫的日志文件；

在監聽到所述源數據庫的日志文件存在數據變化時，令所述領導字段為所述領導機的所述one-data服務器獲取所述日志文件中的變更數據，通過python腳本將所述變更數據進行解析，并將解析后的所述變更數據轉換成與所述源數據庫對應的目標數據庫匹配的SQL語句文本；其中，一個所述源數據庫對應一個目標服務器中的所述目標數據庫；

將所述SQL語句文本封裝成訂閱消息并插入發送隊列中，通過所述發送隊列發送至kafka集群；

接收所述kafka集群反饋的含有所述SQL語句文本推送成功的確定信息，確認將所述源數據庫中的所述變更數據成功同步至所述目標數據庫；在所述kafka集群通過廣播方式將所述訂閱消息中的所述SQL語句文本推送至所述目標數據庫，且所述目標數據庫根據所述SQL語句文本執行所述SQL語句文本中的SQL語句之后，生成所述確定信息。

2.如權利要求1所述的分布式數據同步方法，其特征在于，所述將所述SQL語句文本封裝成訂閱消息并插入發送隊列中，通過所述發送隊列發送至kafka集群之后，包括：

在預設的等待時間段內，若未接收到所述kafka集群反饋的含有所述SQL語句文本推送成功的確定信息，則將含有所述SQL語句文本的出錯信息寫入Nas文件中；

根據所述領導字段為所述領導機的所述one-data服務器的所述執行參數中的糾錯參數，定時獲取所述Nas文件中的所有所述出錯信息，將所有所述出錯信息中的所述SQL語句文件重新封裝成訂閱消息發送至kafka集群。

3.如權利要求1所述的分布式數據同步方法，其特征在于，所述根據上電的所述one-data服務器的所述執行參數中的注冊參數，定時向zookeeper服務器發送與上電的所述one-data服務器對應的注冊指令之前，包括：

定時監控所述配置文件是否有更新；

在所述配置文件有更新時，獲取更新的所述配置文件，并根據更新的所述配置文件對所述配置參數進行更新，并將所述更新后的配置參數記錄為執行參數。