[發(fā)明專利]數(shù)據(jù)庫集群差異比對與數(shù)據(jù)同步的方法、系統(tǒng)及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011636626.3
• 申請日: 2020-12-31
• 公開（公告）號: CN112579613B
• 公開（公告）日: 2023-02-17
• 發(fā)明（設(shè)計(jì)）人: 王智鐸;趙慧;高士連;陳春波
• 申請（專利權(quán)）人: 華東計(jì)算技術(shù)研究所（中國電子科技集團(tuán)公司第三十二研究所）
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/23;G06F16/21;G06F16/25;G06F11/14
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國中

本發(fā)明提供了一種數(shù)據(jù)庫集群差異比對與數(shù)據(jù)同步的方法、系統(tǒng)及介質(zhì)，包括：步驟1：構(gòu)建數(shù)據(jù)庫集群、節(jié)點(diǎn)數(shù)據(jù)庫和鄰接節(jié)點(diǎn)備份庫；步驟2：將數(shù)據(jù)庫中的表分組，每組表存在外鍵相連的關(guān)系，組內(nèi)的表的字段相互依賴，選擇需要比對和同步的分組，生成相對應(yīng)的數(shù)據(jù)表；步驟3：為報(bào)送數(shù)據(jù)表建立初始備份點(diǎn)，存儲在備份庫和數(shù)據(jù)庫中作為初始比對基準(zhǔn)進(jìn)行比對，獲取數(shù)據(jù)增量；步驟4：進(jìn)行數(shù)據(jù)庫同步上報(bào)，當(dāng)報(bào)送數(shù)據(jù)發(fā)送至發(fā)送方節(jié)點(diǎn)時(shí)，比對管理網(wǎng)站并核實(shí)同步數(shù)據(jù)后，選擇同意或拒絕；步驟5：對數(shù)據(jù)庫進(jìn)行維護(hù)，包括業(yè)務(wù)數(shù)據(jù)維護(hù)、字典數(shù)據(jù)維護(hù)、數(shù)據(jù)備份與還原和日志管理。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫與互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體地，涉及一種數(shù)據(jù)庫集群差異比對與數(shù)據(jù)同步的方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

數(shù)據(jù)庫是“按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫”。是一個(gè)長期存儲在計(jì)算機(jī)內(nèi)的、有組織的、可共享的、統(tǒng)一管理的大量數(shù)據(jù)的集合，用戶可以對文件中的數(shù)據(jù)進(jìn)行新增、查詢、更新、刪除等操作。現(xiàn)如今，隨著上網(wǎng)人數(shù)的激增，為適應(yīng)大數(shù)據(jù)時(shí)代用戶請求對服務(wù)器的并發(fā)訪問量的高速增長，一些大型的網(wǎng)站開始使用數(shù)據(jù)庫集群來提高數(shù)據(jù)庫的可靠性和數(shù)據(jù)庫的并發(fā)處理能力。數(shù)據(jù)庫集群，顧名思義，就是利用至少兩臺或者多臺數(shù)據(jù)庫服務(wù)器，構(gòu)成一個(gè)虛擬單一數(shù)據(jù)庫邏輯映像，通過負(fù)載均衡算法將用戶的請求分擔(dān)到集群的各個(gè)節(jié)點(diǎn)，降低單個(gè)節(jié)點(diǎn)的請求訪問量。對于用戶像單數(shù)據(jù)庫系統(tǒng)一樣，向客戶端提供透明的數(shù)據(jù)服務(wù)。

數(shù)據(jù)庫集群就是利用至少兩臺或者多臺數(shù)據(jù)庫服務(wù)器，構(gòu)成一個(gè)虛擬單一數(shù)據(jù)庫邏輯映像，像單數(shù)據(jù)庫系統(tǒng)那樣，向客戶端提供透明的數(shù)據(jù)服務(wù)。從地域上來說，數(shù)據(jù)庫集群的使用可位于不同的地區(qū)，各地區(qū)節(jié)點(diǎn)均在本地部署專用數(shù)據(jù)庫構(gòu)建信息系統(tǒng)，并根據(jù)實(shí)際業(yè)務(wù)運(yùn)行情況進(jìn)行相應(yīng)的專用數(shù)據(jù)庫CRUD(增加、讀取、更新、刪除)操作，形成了地理上離散的專用數(shù)據(jù)庫體系；從層級上來說，各使用單位自頂向下逐層按權(quán)責(zé)劃分，其專用數(shù)據(jù)庫信息呈包含關(guān)系，即上級單位的專用數(shù)據(jù)庫信息包含所有下級單位專用數(shù)據(jù)庫信息，平級單位的專用數(shù)據(jù)庫中相關(guān)業(yè)務(wù)數(shù)據(jù)互相獨(dú)立，形成樹型級聯(lián)的專用數(shù)據(jù)庫體系結(jié)構(gòu)。若不構(gòu)建有效的數(shù)據(jù)報(bào)送體系，各專用數(shù)據(jù)庫間信息難以快速、全面流動，進(jìn)而成為信息孤島，極大降低了級聯(lián)數(shù)據(jù)庫信息系統(tǒng)間的合作效率和信息的利用率，無法為信息化作戰(zhàn)提供有效、可靠、及時(shí)的信息支撐。

數(shù)據(jù)庫集群的差異是指數(shù)據(jù)庫不同節(jié)點(diǎn)的用戶對數(shù)據(jù)表記錄做不同內(nèi)容的修改，導(dǎo)致存在某些節(jié)點(diǎn)的數(shù)據(jù)庫的數(shù)據(jù)不一致的現(xiàn)象。數(shù)據(jù)庫集群的同步是指當(dāng)數(shù)據(jù)庫集群存在差異時(shí)，數(shù)據(jù)庫客戶端發(fā)出數(shù)據(jù)更新請求后，要等集群的每個(gè)節(jié)點(diǎn)全部更新后，才給客戶端返回結(jié)果。數(shù)據(jù)庫集群的異步指當(dāng)數(shù)據(jù)庫集群存在差異時(shí)，數(shù)據(jù)庫客戶端發(fā)出數(shù)據(jù)更新請求后，接受請求的節(jié)點(diǎn)立馬給客戶端返回結(jié)果，被更新的數(shù)據(jù)則會在接下來的某個(gè)時(shí)間里被復(fù)制傳輸?shù)郊旱钠渌?jié)點(diǎn)上。異步技術(shù)是一種弱一致性處理方法。

數(shù)據(jù)庫作為存儲數(shù)據(jù)的介質(zhì)，存在數(shù)量龐大的數(shù)據(jù)表和復(fù)雜的數(shù)據(jù)關(guān)聯(lián)。為確保數(shù)據(jù)庫中數(shù)據(jù)的一致性，需在數(shù)據(jù)表間定義一些約束關(guān)系，并引入外鍵(foreign key)概念,建立和加強(qiáng)數(shù)據(jù)之間的鏈接關(guān)系。即通過將表中某一字段或多個(gè)字段映射到另一個(gè)表中，創(chuàng)建兩表之間的約束關(guān)聯(lián)。在數(shù)據(jù)同步流程中，外鍵依賴導(dǎo)致了外鍵沖突的產(chǎn)生，本發(fā)明提出一種解決外鍵沖突的方法。

專利文獻(xiàn)CN106294496A(申請?zhí)枺篊N201510312034.9)公開了一種基于hadoop集群的數(shù)據(jù)遷移方法，包括：各集群根據(jù)主服務(wù)器發(fā)送的需要同步的數(shù)據(jù)目錄列表分別計(jì)算各自當(dāng)前的數(shù)據(jù)目錄信息并返回結(jié)果給主服務(wù)器；主服務(wù)器對所述結(jié)果進(jìn)行差異比對得到差異目錄列表；主服務(wù)器按照執(zhí)行同步任務(wù)的客戶端的數(shù)量拆分差異目錄列表；各執(zhí)行同步任務(wù)的客戶端接到主服務(wù)器發(fā)起的執(zhí)行同步任務(wù)通知后，請求web service，獲取拆分后的差異目錄列表，執(zhí)行同步任務(wù)。根據(jù)本發(fā)明的技術(shù)方案，基于hadoop自身提供的同步命令，在其基礎(chǔ)上進(jìn)行開發(fā)封裝，包括數(shù)據(jù)差異比對，多線程并發(fā)同步，同步結(jié)果校驗(yàn)，同步進(jìn)度跟蹤，過程監(jiān)控。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種數(shù)據(jù)庫集群差異比對與數(shù)據(jù)同步的方法、系統(tǒng)及介質(zhì)。