[發(fā)明專利]實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010139193.4
• 申請(qǐng)日: 2020-03-03
• 公開（公告）號(hào): CN111400276A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 曹先勝;郭峰;陽(yáng)鶴翔;金宏洲;程亮
• 申請(qǐng)（專利權(quán)）人: 杭州天谷信息科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/27;G06F9/54
• 代理公司: 杭州裕陽(yáng)聯(lián)合專利代理有限公司 33289
• 代理人: 姚宇吉

1.一種實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置，其特征在于，包含：

配置組件，用于接收用戶設(shè)置的數(shù)據(jù)遷移配置信息，所述數(shù)據(jù)遷移配置信息包括源數(shù)據(jù)庫(kù)地址和目標(biāo)數(shù)據(jù)庫(kù)地址；

全量遷移組件，用于在接收到所述數(shù)據(jù)遷移配置信息后對(duì)源數(shù)據(jù)庫(kù)生成一個(gè)數(shù)據(jù)節(jié)點(diǎn)并將從所述源數(shù)據(jù)庫(kù)中獲取到的所述數(shù)據(jù)節(jié)點(diǎn)前的全量數(shù)據(jù)進(jìn)行數(shù)據(jù)異構(gòu)后轉(zhuǎn)移至目標(biāo)數(shù)據(jù)庫(kù)；

增量遷移組件，用于當(dāng)所述全量遷移組件完成全量數(shù)據(jù)遷移時(shí)進(jìn)行增量數(shù)據(jù)遷移；

zookeeper組件，用于協(xié)調(diào)所述全量遷移組件和所述增量遷移組件，所述zookeeper組件包含處于第一狀態(tài)的第一參考量；

所述全量遷移組件在完成全量數(shù)據(jù)遷移時(shí)將所述第一參考量修改成第二狀態(tài)；

所述增量遷移組件在所述zookeeper組件的所述第一參考量處于第二狀態(tài)時(shí)讀取并解析所述源數(shù)據(jù)庫(kù)在全量數(shù)據(jù)遷移期間的binlog得到增量數(shù)據(jù)并將所述增量數(shù)據(jù)進(jìn)行數(shù)據(jù)異構(gòu)后轉(zhuǎn)移至目標(biāo)數(shù)據(jù)庫(kù)；

所述配置組件、所述全量遷移組件、所述增量遷移組件和所述zookeeper組件通過(guò)TCP協(xié)議進(jìn)行網(wǎng)絡(luò)通信。

2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置，其特征在于，

所述zookeeper組件還包含處于第一狀態(tài)的第二參考量；

所述增量遷移組件在所述目標(biāo)數(shù)據(jù)庫(kù)與源數(shù)據(jù)庫(kù)之間的差異小于閾值時(shí)將所述第二參考量修改成第二狀態(tài)；

所述增量遷移組件在所述目標(biāo)數(shù)據(jù)庫(kù)與源數(shù)據(jù)庫(kù)完全相同時(shí)將所述第二參考量修改成第三狀態(tài)；

所述實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置還包括：

切換組件，用于在所述第二參考量為第二狀態(tài)時(shí)切斷連接至所述源數(shù)據(jù)庫(kù)的應(yīng)用程序和所述源數(shù)據(jù)庫(kù)之間的連接關(guān)系并在所述第二參考量為第三狀態(tài)時(shí)將所述應(yīng)用程序連接至所述目標(biāo)數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求2所述的實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置，其特征在于，

所述增量遷移組件在讀取所述binlog時(shí)計(jì)算每條操作記錄的時(shí)間戳與當(dāng)前時(shí)間的時(shí)間差；

當(dāng)所述時(shí)間差小于第一時(shí)間時(shí)所述增量遷移組件將所述第二參考量修改成第二狀態(tài)；

當(dāng)所述增量遷移組件在讀取完所述binlog中的所有的操作記錄時(shí)將所述第二參考量修改成第三狀態(tài)。

4.根據(jù)權(quán)利要求3所述的實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置，其特征在于，

所述第一時(shí)間為大于等于3秒且小于等于7秒。

5.根據(jù)權(quán)利要求1-4任一所述的實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置，其特征在于，

所述實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移裝置還包括：

RPC異構(gòu)組件，用于遠(yuǎn)程調(diào)用程序?qū)?shù)據(jù)進(jìn)行RPC數(shù)據(jù)異構(gòu)；

所述數(shù)據(jù)遷移配置信息還包括RPC數(shù)據(jù)異構(gòu)信息；

所述RPC異構(gòu)組件將所述全量遷移組件獲取到的所述全量數(shù)據(jù)和所述增量遷移組件獲取到的所述增量數(shù)據(jù)進(jìn)行RPC數(shù)據(jù)異構(gòu)后轉(zhuǎn)移至所述目標(biāo)數(shù)據(jù)庫(kù)。

6.一種實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移方法，其特征在于，包含以下步驟：

獲取數(shù)據(jù)遷移配置信息，所述數(shù)據(jù)遷移配置信息包括源數(shù)據(jù)庫(kù)地址和目標(biāo)數(shù)據(jù)庫(kù)地址；

生成一個(gè)數(shù)據(jù)節(jié)點(diǎn)；

從源數(shù)據(jù)庫(kù)中獲取所述數(shù)據(jù)節(jié)點(diǎn)前的全量數(shù)據(jù)；

將所述全量數(shù)據(jù)進(jìn)行數(shù)據(jù)異構(gòu)后轉(zhuǎn)移至目標(biāo)數(shù)據(jù)庫(kù)；

在完成全量數(shù)據(jù)遷移后讀取并解析所述源數(shù)據(jù)庫(kù)在全量數(shù)據(jù)遷移期間的binlog得到增量數(shù)據(jù)；

將所述增量數(shù)據(jù)進(jìn)行數(shù)據(jù)異構(gòu)后轉(zhuǎn)移至所述目標(biāo)數(shù)據(jù)庫(kù)。

7.根據(jù)權(quán)利要求6所述的實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移方法，其特征在于，

所述實(shí)時(shí)同步數(shù)據(jù)庫(kù)遷移方法還包括切換步驟；

所述切換步驟具體為：

在將所述增量數(shù)據(jù)轉(zhuǎn)移至所述目標(biāo)數(shù)據(jù)庫(kù)時(shí)判斷所述目標(biāo)數(shù)據(jù)庫(kù)和所述源數(shù)據(jù)庫(kù)之間的數(shù)據(jù)差異；

當(dāng)所述目標(biāo)數(shù)據(jù)庫(kù)和所述源數(shù)據(jù)庫(kù)之間的數(shù)據(jù)差異小于閾值時(shí)切斷連接至所述源數(shù)據(jù)庫(kù)的應(yīng)用程序和所述源數(shù)據(jù)庫(kù)之間的連接關(guān)系；

當(dāng)所述目標(biāo)數(shù)據(jù)庫(kù)與所述源數(shù)據(jù)庫(kù)的數(shù)據(jù)完全相同時(shí)將所述應(yīng)用程序連接至所述目標(biāo)數(shù)據(jù)庫(kù)。