[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置及存儲(chǔ)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710166069.5
• 申請(qǐng)日: 2017-03-20
• 公開（公告）號(hào): CN108628885B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 葉磊;顧峰;王博;羅根
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明實(shí)施例公開了一種數(shù)據(jù)同步方法、裝置及存儲(chǔ)設(shè)備，其中，所述方法包括：監(jiān)聽第一數(shù)據(jù)庫的寫操作，其中，所述寫操作包括向所述第一數(shù)據(jù)庫新寫入表項(xiàng)數(shù)據(jù)的操作；根據(jù)所述寫操作提取所述表項(xiàng)數(shù)據(jù)，并基于所述表項(xiàng)數(shù)據(jù)中每一表項(xiàng)位置的內(nèi)容數(shù)據(jù)對(duì)所述表項(xiàng)數(shù)據(jù)進(jìn)行序列化處理；根據(jù)配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則將所述序列化后的表項(xiàng)數(shù)據(jù)轉(zhuǎn)換為符合第二數(shù)據(jù)庫的格式要求的同步數(shù)據(jù)；將所述同步數(shù)據(jù)存儲(chǔ)到所述第二數(shù)據(jù)庫中。采用本發(fā)明實(shí)施例，可自動(dòng)地完成數(shù)據(jù)在不同類型數(shù)據(jù)庫之間的同步，滿足了用戶數(shù)據(jù)同步的自動(dòng)化需求，提高了在不同類型數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)同步的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法、裝置及存儲(chǔ)設(shè)備。

背景技術(shù)

在計(jì)算機(jī)技術(shù)領(lǐng)域，數(shù)據(jù)庫(Database)是按照指定的數(shù)據(jù)格式來組織、存儲(chǔ)和管理各種數(shù)據(jù)。根據(jù)需要，用戶可以對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行新增、更新、檢索、刪除等操作。數(shù)據(jù)庫有多種類型，有包括存儲(chǔ)有各種數(shù)據(jù)的表格的表項(xiàng)型數(shù)據(jù)庫，也有基于鍵值對(duì)形式存儲(chǔ)數(shù)據(jù)的鍵值對(duì)型數(shù)據(jù)庫。

目前，如果需要在兩個(gè)不同類型的數(shù)據(jù)庫之間同步數(shù)據(jù)，現(xiàn)有的處理方式是需要用戶分別以不同的數(shù)據(jù)輸入形式將數(shù)據(jù)存儲(chǔ)到不同類型的數(shù)據(jù)庫中，才能使得數(shù)據(jù)以指定的數(shù)據(jù)格式存儲(chǔ)到對(duì)應(yīng)類型的數(shù)據(jù)庫中。現(xiàn)有的處理方式的處理過程繁瑣，使得數(shù)據(jù)同步效率低下。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法、裝置及存儲(chǔ)設(shè)備，可在不同的數(shù)據(jù)庫之間自動(dòng)同步數(shù)據(jù)。

一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步方法，包括：

監(jiān)聽第一數(shù)據(jù)庫的寫操作，其中，所述寫操作包括向所述第一數(shù)據(jù)庫新寫入表項(xiàng)數(shù)據(jù)的操作；

根據(jù)所述寫操作提取所述表項(xiàng)數(shù)據(jù)，并基于所述表項(xiàng)數(shù)據(jù)中每一表項(xiàng)位置的內(nèi)容數(shù)據(jù)對(duì)所述表項(xiàng)數(shù)據(jù)進(jìn)行序列化處理；

根據(jù)配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則將所述序列化后的表項(xiàng)數(shù)據(jù)轉(zhuǎn)換為符合第二數(shù)據(jù)庫的格式要求的同步數(shù)據(jù)；

將所述同步數(shù)據(jù)存儲(chǔ)到所述第二數(shù)據(jù)庫中。

其中可選地，所述監(jiān)聽第一數(shù)據(jù)庫的寫操作之前，還包括：

為第一數(shù)據(jù)庫的目標(biāo)數(shù)據(jù)庫表設(shè)置同步標(biāo)識(shí)，所述同步標(biāo)識(shí)用于指示在向所述第一數(shù)據(jù)庫的所述目標(biāo)數(shù)據(jù)庫表新寫入表項(xiàng)數(shù)據(jù)時(shí)，將新寫入的表項(xiàng)數(shù)據(jù)同步到第二數(shù)據(jù)庫；和/或：配置從第一數(shù)據(jù)庫同步數(shù)據(jù)到第二數(shù)據(jù)庫的數(shù)據(jù)轉(zhuǎn)換規(guī)則。

其中可選地，所述根據(jù)所述寫操作提取所述表項(xiàng)數(shù)據(jù)是指從所述寫操作產(chǎn)生的數(shù)據(jù)記錄信息中提取表項(xiàng)數(shù)據(jù)；所述數(shù)據(jù)記錄信息為所述第一數(shù)據(jù)庫的日志信息，所述日志信息用于記錄所述寫操作所寫入的表項(xiàng)數(shù)據(jù)。

其中可選地，所述基于所述表項(xiàng)數(shù)據(jù)中每一表項(xiàng)位置的內(nèi)容數(shù)據(jù)對(duì)所述表項(xiàng)數(shù)據(jù)進(jìn)行序列化處理，包括：

獲取已配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則，并確定出該數(shù)據(jù)轉(zhuǎn)換規(guī)則中指定的表項(xiàng)位置；

從表項(xiàng)數(shù)據(jù)中選擇獲取各個(gè)指定的表項(xiàng)位置的內(nèi)容數(shù)據(jù)；

將選擇獲取的內(nèi)容數(shù)據(jù)進(jìn)行序列化處理。

其中可選地，所述第一數(shù)據(jù)庫為表項(xiàng)型數(shù)據(jù)庫，所述第二數(shù)據(jù)庫為鍵值對(duì)key-value型數(shù)據(jù)庫，配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則中包括從第一數(shù)據(jù)庫中數(shù)據(jù)庫表的表項(xiàng)位置到所述第二數(shù)據(jù)庫中鍵值對(duì)的映射關(guān)系；

所述根據(jù)配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則將所述序列化后的表項(xiàng)數(shù)據(jù)轉(zhuǎn)換為符合第二數(shù)據(jù)庫的格式要求的同步數(shù)據(jù)，包括：

提取序列化后的表項(xiàng)數(shù)據(jù)的每一表項(xiàng)位置的內(nèi)容數(shù)據(jù)；

按照配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則所包括的所述映射關(guān)系，依次將提取的每一個(gè)表項(xiàng)位置的內(nèi)容數(shù)據(jù)映射為鍵值對(duì)所對(duì)應(yīng)數(shù)據(jù)，得到符合所述第二數(shù)據(jù)庫格式要求的同步數(shù)據(jù)。