[發(fā)明專利]一種數(shù)據(jù)同步的方法和裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110202822.8
• 申請(qǐng)日: 2021-02-23
• 公開（公告）號(hào): CN112905700B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 張杰;蔡輝;廖祥俐;邵顯根;曹偲
• 申請(qǐng)（專利權(quán)）人: 杭州網(wǎng)易云音樂科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23;G06F9/54
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李琴

本發(fā)明提供了一種數(shù)據(jù)同步的方法和裝置及設(shè)備，所述方法包括：監(jiān)聽采用不同數(shù)據(jù)模型的兩個(gè)數(shù)據(jù)庫分別廣播的數(shù)據(jù)變更消息；當(dāng)任一數(shù)據(jù)庫發(fā)生業(yè)務(wù)操作觸發(fā)的數(shù)據(jù)變更時(shí)，廣播攜帶第一數(shù)據(jù)變更類型指示的數(shù)據(jù)變更消息；當(dāng)任一數(shù)據(jù)庫發(fā)生增量數(shù)據(jù)同步操作觸發(fā)的數(shù)據(jù)變更時(shí)，廣播攜帶第二變更類型指示的數(shù)據(jù)變更消息；監(jiān)聽到所述攜帶第一變更類型指示的數(shù)據(jù)變更消息時(shí)，將其中一個(gè)數(shù)據(jù)庫中變更的數(shù)據(jù)作為待同步數(shù)據(jù)，觸發(fā)執(zhí)行將所述待同步數(shù)據(jù)同步到另一數(shù)據(jù)庫的增量數(shù)據(jù)同步操作。利用本發(fā)明提供的方法，可以在采用不同數(shù)據(jù)模型的數(shù)據(jù)庫之間實(shí)現(xiàn)數(shù)據(jù)同步，且避免了數(shù)據(jù)同步環(huán)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步的方法和裝置及設(shè)備。

背景技術(shù)

隨著業(yè)務(wù)的發(fā)展，用戶、產(chǎn)品、運(yùn)營的需求都在變化，當(dāng)數(shù)據(jù)模型無法滿足上述需求時(shí)，就需要對(duì)原有數(shù)據(jù)模型進(jìn)行重構(gòu)處理。數(shù)據(jù)模型的重構(gòu)涉及將原數(shù)據(jù)模型的底層數(shù)據(jù)庫中的數(shù)據(jù)同步到新數(shù)據(jù)模型的底層數(shù)據(jù)庫，以保證新數(shù)據(jù)模型能使業(yè)務(wù)正常的運(yùn)轉(zhuǎn)；同時(shí)，由于業(yè)務(wù)系統(tǒng)的復(fù)雜性，短期內(nèi)無法廢棄舊業(yè)務(wù)系統(tǒng)，所以還需要將新數(shù)據(jù)模型的底層數(shù)據(jù)庫中的數(shù)據(jù)同步到原數(shù)據(jù)模型的底層數(shù)據(jù)庫。

數(shù)據(jù)同步中由于數(shù)據(jù)量在億級(jí)，同步過程持續(xù)的時(shí)間較長，為了保證不影響用戶的使用，會(huì)存在業(yè)務(wù)系統(tǒng)共用兩個(gè)數(shù)據(jù)庫的階段。在共用數(shù)據(jù)庫的階段，需要保證業(yè)務(wù)操作引起的數(shù)據(jù)在兩個(gè)數(shù)據(jù)庫中的同步。相關(guān)技術(shù)中存在一種雙寫同步的方案，即原有業(yè)務(wù)向原有數(shù)據(jù)模型的底層數(shù)據(jù)庫寫入數(shù)據(jù)的同時(shí)，也向新數(shù)據(jù)模型的底層數(shù)據(jù)庫寫入；新業(yè)務(wù)向新數(shù)據(jù)模型的底層數(shù)據(jù)庫寫入數(shù)據(jù)的同時(shí)，也向原有數(shù)據(jù)模型的底層數(shù)據(jù)庫寫入。

但是上述方案面對(duì)數(shù)據(jù)量大的數(shù)據(jù)同步時(shí)，在業(yè)務(wù)入口雙寫新舊數(shù)據(jù)模型的數(shù)據(jù)庫時(shí)，需要耗費(fèi)巨大的工作量，可實(shí)施性不高；同時(shí)新的業(yè)務(wù)也要寫舊的數(shù)據(jù)模型這不利于業(yè)務(wù)系統(tǒng)的可擴(kuò)張性，導(dǎo)致留下很大的長尾的效應(yīng)，影響后續(xù)的處理。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)同步的方法和裝置及設(shè)備，解決現(xiàn)有的雙寫同步方案存在的可實(shí)施性不高且不利于業(yè)務(wù)系統(tǒng)的可擴(kuò)張性的問題。

第一方面，本發(fā)明提供一種數(shù)據(jù)同步的方法，該方法包括：

監(jiān)聽采用不同數(shù)據(jù)模型的兩個(gè)數(shù)據(jù)庫分別廣播的數(shù)據(jù)變更消息；

當(dāng)任一數(shù)據(jù)庫發(fā)生業(yè)務(wù)操作觸發(fā)的數(shù)據(jù)變更時(shí)，廣播攜帶第一數(shù)據(jù)變更類型指示的數(shù)據(jù)變更消息；

當(dāng)任一數(shù)據(jù)庫發(fā)生增量數(shù)據(jù)同步操作觸發(fā)的數(shù)據(jù)變更時(shí)，廣播攜帶第二變更類型指示的數(shù)據(jù)變更消息；

監(jiān)聽到所述攜帶第一變更類型指示的數(shù)據(jù)變更消息時(shí)，將其中一個(gè)數(shù)據(jù)庫中變更的數(shù)據(jù)作為待同步數(shù)據(jù)，觸發(fā)執(zhí)行將所述待同步數(shù)據(jù)同步到另一數(shù)據(jù)庫的增量數(shù)據(jù)同步操作。

在一種可能的實(shí)施方式中，執(zhí)行增量數(shù)據(jù)同步操作，包括：

根據(jù)其中一個(gè)數(shù)據(jù)庫中的數(shù)據(jù)模型表與另一個(gè)數(shù)據(jù)庫中的數(shù)據(jù)模型表的映射關(guān)系，執(zhí)行從其中一個(gè)數(shù)據(jù)庫中的數(shù)據(jù)模型表到另一個(gè)數(shù)據(jù)庫中的數(shù)據(jù)模型表的增量數(shù)據(jù)同步操作；

所述映射關(guān)系包括其中一個(gè)數(shù)據(jù)庫中的一個(gè)數(shù)據(jù)模型表關(guān)聯(lián)另一個(gè)數(shù)據(jù)庫中的多個(gè)數(shù)據(jù)模型表的拆分關(guān)系，及其中一個(gè)數(shù)據(jù)庫中的多個(gè)數(shù)據(jù)模型表關(guān)聯(lián)另一個(gè)數(shù)據(jù)庫中一個(gè)數(shù)據(jù)模型表的組合關(guān)系；

所述多個(gè)數(shù)據(jù)模型表中包括一個(gè)主表，其中所述主表中包含對(duì)應(yīng)的數(shù)據(jù)模型的必要表項(xiàng)。

本發(fā)明實(shí)施例提供的數(shù)據(jù)同步的方法，根據(jù)不同數(shù)據(jù)庫的數(shù)據(jù)模型表之間的映射關(guān)系，執(zhí)行數(shù)據(jù)同步操作，解決了多張表往單張表映射，以及單張表往多張表映射的增量數(shù)據(jù)同步的問題，通過在多個(gè)數(shù)據(jù)模型表中確定出一個(gè)主表，以支持復(fù)雜數(shù)據(jù)同步的解決方案，提高了數(shù)據(jù)同步的可行性。

在一種可能的實(shí)施方式中，采用如下方式確定所述多個(gè)數(shù)據(jù)模型表中的主表：