[發明專利]一種數據同步方法、裝置及存儲設備

有效

• 申請號: 201710166069.5
• 申請日: 2017-03-20
• 公開（公告）號: CN108628885B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 葉磊;顧峰;王博;羅根
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種數據同步方法，其特征在于，包括：

為第一數據庫的目標數據庫表設置同步標識，所述同步標識用于指示在向所述第一數據庫的所述目標數據庫表新寫入表項數據時，將新寫入的表項數據同步到第二數據庫；

監聽第一數據庫的寫操作，其中，所述寫操作包括向所述第一數據庫的所述目標數據庫表新寫入表項數據的操作，所述第一數據庫為表項型數據庫；

根據所述寫操作提取所述表項數據，并獲取已配置的數據轉換規則，并確定出該數據轉換規則中指定的表項位置；

從表項數據中選擇獲取各個指定的表項位置的內容數據；

將選擇獲取的內容數據進行序列化處理，其中，是基于多維數據序列化為一個字符串的規則將選擇獲取的內容數據序列化后得到一個字符串；

提取序列化后的字符串中每一指定的表項位置對應的內容數據；

按照配置的數據轉換規則所包括的從第一數據庫中數據庫表的表項位置到第二數據庫中鍵值對的映射關系，依次將提取的每一個表項位置的內容數據映射為鍵值對所對應數據，得到符合所述第二數據庫格式要求的同步數據；其中，所述配置的數據轉換規則包括多個從第一數據庫中數據庫表的表項位置到第二數據庫中鍵值對的映射關系；

將所述同步數據存儲到所述第二數據庫中，所述第二數據庫為鍵值對key-value型數據庫；其中，將所述同步數據存儲到所述第二數據庫包括：將根據多個從第一數據庫中數據庫表的表項位置到第二數據庫中鍵值對的映射關系得到的各個同步數據，對應同步到多個第二數據庫中，或者將根據多個從第一數據庫中數據庫表的表項位置到第二數據庫中鍵值對的映射關系得到的各個同步數據，存儲到第二數據庫的不同存儲位置；

其中，所述配置的數據轉換規則包括從第一數據庫中數據庫表的表項位置到所述第二數據庫中鍵值對的映射關系，在該映射關系中被允許對第二數據庫的鍵值對數據結構中的鍵K值配置不同的表項位置。

2.如權利要求1所述的方法，其特征在于，所述監聽第一數據庫的寫操作之前，還包括：

配置從第一數據庫同步數據到第二數據庫的數據轉換規則。

3.如權利要求1所述的方法，其特征在于，所述根據所述寫操作提取所述表項數據是指從所述寫操作產生的數據記錄信息中提取表項數據；所述數據記錄信息為所述第一數據庫的日志信息，所述日志信息用于記錄所述寫操作所寫入的表項數據。

4.如權利要求1-3任一項所述的方法，其特征在于，在序列化得到一個字符串后，所述方法還包括：將序列化后的表項數據存儲到消息隊列中。

5.如權利要求1所述的方法，其特征在于，還包括：

若檢測到業務讀請求，選擇從第一數據庫和第二數據庫中讀性能高的數據庫中讀取數據。