[發(fā)明專利]一種同步方法、同步系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210474327.7
• 申請(qǐng)日: 2022-04-29
• 公開（公告）號(hào): CN114676199A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 曹仁杰
• 申請(qǐng)（專利權(quán)）人: 北京中啟智源數(shù)字信息技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23
• 代理公司: 北京汲智翼成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦;董燁飛

本發(fā)明公開了一種同步方法、同步系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。在本發(fā)明的一個(gè)實(shí)施例中，該同步方法包括如下步驟：通過(guò)中間服務(wù)器的管道實(shí)時(shí)獲取關(guān)系型數(shù)據(jù)庫(kù)的更新信息；解析更新信息并將更新數(shù)據(jù)存儲(chǔ)到消息隊(duì)列；根據(jù)消息隊(duì)列將更新數(shù)據(jù)同步到列式數(shù)據(jù)庫(kù)。本發(fā)明通過(guò)中間服務(wù)器將關(guān)系型數(shù)據(jù)庫(kù)和列式數(shù)據(jù)庫(kù)相結(jié)合，使得系統(tǒng)可以同時(shí)具有兩種數(shù)據(jù)庫(kù)的優(yōu)勢(shì)，在數(shù)據(jù)處理技術(shù)領(lǐng)域具有實(shí)際的應(yīng)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明涉及一種同步方法，尤其涉及一種將關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)同步到列式數(shù)據(jù)庫(kù)的方法，同時(shí)涉及相應(yīng)的同步系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。

背景技術(shù)

目前，互聯(lián)網(wǎng)電子商務(wù)系統(tǒng)、企業(yè)辦公自動(dòng)化OA系統(tǒng)、企業(yè)資源計(jì)劃ERP系統(tǒng)廣泛應(yīng)用，大數(shù)據(jù)高效的、實(shí)時(shí)的查詢和報(bào)表展示越來(lái)越重要；傳統(tǒng)的數(shù)據(jù)庫(kù)大多數(shù)都是采用的關(guān)系型數(shù)據(jù)庫(kù)，然而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)于大數(shù)據(jù)查詢和報(bào)表的效率基本不是實(shí)時(shí)的，一般都是采用T+1，即第二天只能查詢頭一天的數(shù)據(jù)；而且當(dāng)數(shù)據(jù)量超過(guò)億級(jí)的時(shí)候，整體性能也會(huì)非常慢；這使得無(wú)法滿足飛速發(fā)展的業(yè)務(wù)的需要。

在公開號(hào)為CN113934797A的中國(guó)專利申請(qǐng)中，公開了一種銀行業(yè)超大數(shù)據(jù)同步方法。該方法包括如下步驟：應(yīng)用系統(tǒng)登記待推送數(shù)據(jù)，生成數(shù)據(jù)推送表，觸發(fā)定時(shí)同步任務(wù)；查詢并設(shè)置推送參數(shù)表；查詢數(shù)據(jù)推送表，判斷數(shù)據(jù)推送表中是否存在待推送數(shù)據(jù)，若存在，則查詢出待推送數(shù)據(jù)，并關(guān)聯(lián)源表，若不存在，則結(jié)束任務(wù)；根據(jù)所述推送參數(shù)表，將所述待推送數(shù)據(jù)轉(zhuǎn)化為對(duì)應(yīng)推送格式后，發(fā)布至消息隊(duì)列；通過(guò)ClickHouse消息隊(duì)列引擎解析消息隊(duì)列數(shù)據(jù)，并轉(zhuǎn)發(fā)至消息隊(duì)列表中；通過(guò)ClickHouse物化視圖讀取消息隊(duì)列表中接收的數(shù)據(jù)，并根據(jù)數(shù)據(jù)轉(zhuǎn)化規(guī)則，將數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)表中存儲(chǔ)。該發(fā)明能夠?qū)崿F(xiàn)數(shù)據(jù)通過(guò)消息隊(duì)列存入列式數(shù)據(jù)庫(kù)，但需要依賴數(shù)據(jù)推送表定時(shí)執(zhí)行同步任務(wù)，無(wú)法實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)同步。

類似地，在公開號(hào)為CN112988916A的中國(guó)專利申請(qǐng)中，公開了一種針對(duì)ClickHouse的全量和增量同步方法，包括如下步驟：實(shí)時(shí)捕獲原始數(shù)據(jù)的數(shù)據(jù)變化；將所述原始數(shù)據(jù)的數(shù)據(jù)變化轉(zhuǎn)化為刪除操作和插入操作；將所述刪除操作和插入操作提交到數(shù)據(jù)處理隊(duì)列；判斷所述數(shù)據(jù)處理隊(duì)列的當(dāng)前隊(duì)列的長(zhǎng)度和等待的時(shí)間間隔是否達(dá)到預(yù)設(shè)閾值；當(dāng)前隊(duì)列的長(zhǎng)度和等待的時(shí)間間隔中任一達(dá)到預(yù)設(shè)閾值時(shí)，基于所述數(shù)據(jù)處理隊(duì)列，提交同步任務(wù)至ClickHouse，以完成數(shù)據(jù)變化的同步。該發(fā)明通過(guò)數(shù)據(jù)處理隊(duì)列，當(dāng)隊(duì)列達(dá)到閾值后將數(shù)據(jù)推送到ClickHouse中進(jìn)行數(shù)據(jù)抽取并存儲(chǔ)，從而在一定程度上實(shí)現(xiàn)了數(shù)據(jù)的同步，然而由于使用閾值控制，存在實(shí)時(shí)性較差的問(wèn)題，并且由于數(shù)據(jù)抽取操作是在ClickHouse中實(shí)現(xiàn)，使系統(tǒng)對(duì)ClickHouse產(chǎn)生了依賴，使得系統(tǒng)靈活性下降。

發(fā)明內(nèi)容

本發(fā)明所要解決的首要技術(shù)問(wèn)題在于提供一種同步方法，可以將關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)同步到列式數(shù)據(jù)庫(kù)。

本發(fā)明所要解決的另一技術(shù)問(wèn)題在于提供一種相應(yīng)的同步系統(tǒng)。

本發(fā)明所要解決的又一技術(shù)問(wèn)題在于提供一種相應(yīng)的計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用下述的技術(shù)方案：

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種應(yīng)用于中間服務(wù)器的同步方法，包括如下步驟：

S20：通過(guò)中間服務(wù)器的管道實(shí)時(shí)獲取關(guān)系型數(shù)據(jù)庫(kù)的更新信息，所述更新信息為所述管道實(shí)時(shí)向所述關(guān)系型數(shù)據(jù)庫(kù)發(fā)送的第一查詢請(qǐng)求獲得的，所述更新信息包括所述關(guān)系型數(shù)據(jù)庫(kù)的更新數(shù)據(jù)；

S40：解析所述更新信息并將所述更新數(shù)據(jù)存儲(chǔ)到消息隊(duì)列；

S60：根據(jù)所述消息隊(duì)列將所述更新數(shù)據(jù)同步到列式數(shù)據(jù)庫(kù)。

其中較優(yōu)地，所述同步方法還包括：