[發(fā)明專利]數(shù)據(jù)同步方法、裝置、電子設(shè)備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010975400.X
• 申請日: 2020-09-16
• 公開（公告）號: CN112115200B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 羅廷方;段效晨;康林;秦占明;趙艷杰;付元寶
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/182;G06F16/23
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 呂俊秀

本發(fā)明實施例提供了一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及可讀存儲介質(zhì)，方法包括：在同步任務(wù)啟動的情況下，獲取增量數(shù)據(jù)同步請求，并向中轉(zhuǎn)服務(wù)器發(fā)送所述增量數(shù)據(jù)同步請求，響應(yīng)于增量數(shù)據(jù)同步請求，檢測是否收到中轉(zhuǎn)服務(wù)器發(fā)送的第一同步完成標(biāo)識，以根據(jù)第一同步完成標(biāo)識確定增量數(shù)據(jù)已同步到HDFS文件，在增量數(shù)據(jù)已同步到HDFS文件的情況下，在列式數(shù)據(jù)庫中創(chuàng)建與源表對應(yīng)的臨時表，并將HDFS文件中的增量數(shù)據(jù)同步到臨時表中與源分區(qū)對應(yīng)的分區(qū)中，在增量數(shù)據(jù)已同步到分區(qū)的情況下，將正式表標(biāo)識對應(yīng)的正式表中每個目標(biāo)分區(qū)的數(shù)據(jù)，同步到臨時表中與目標(biāo)分區(qū)對應(yīng)的分區(qū)中，提高了數(shù)據(jù)同步效率，降低了人力成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別是涉及數(shù)據(jù)同步方法、裝置、電子設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

隨著信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)的普及化程度越來越高，應(yīng)用短視頻平臺的用戶越來越多，用戶通過短視頻平臺上傳自己的作品，并可以查看自己的作品的推薦量、播放量、播放時長等數(shù)據(jù)。

然而，如果某個用戶的作品的數(shù)量比較大，例如幾千甚至上萬個作品，則用戶查詢自己的作品的推薦量、播放量、播放時長等數(shù)據(jù)時，會造成查詢速度非常慢的問題。為了解決該問題，需要將數(shù)據(jù)倉庫的數(shù)據(jù)表中的數(shù)據(jù)(例如Hive數(shù)據(jù))同步到列式數(shù)據(jù)庫的數(shù)據(jù)表(例如Clickhouse數(shù)據(jù)庫)。目前，通常采用全量數(shù)據(jù)同步方案同步數(shù)據(jù)倉庫中的數(shù)據(jù)表中的數(shù)據(jù)，全量數(shù)據(jù)同步為：手動創(chuàng)建分布式文件系統(tǒng)(HDFS，Hadoop?Distributed?FileSystem)文件，將數(shù)據(jù)倉庫中的數(shù)據(jù)表的全量數(shù)據(jù)同步到HDFS文件，在Clickhouse數(shù)據(jù)庫手動創(chuàng)建數(shù)據(jù)表，將HDFS文件中的數(shù)據(jù)同步該數(shù)據(jù)表；在Clickhouse數(shù)據(jù)庫手動創(chuàng)建一個目標(biāo)表，再將該數(shù)據(jù)表中的數(shù)據(jù)同步到目標(biāo)表。

因此，目前的數(shù)據(jù)同步方案的過程比較繁瑣，數(shù)據(jù)同步效率較低，并且人力成本較高。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及可讀存儲介質(zhì)，以實現(xiàn)簡化數(shù)據(jù)同步過程，提高數(shù)據(jù)同步效率、以及降低人力成本。具體技術(shù)方案如下：

在本發(fā)明實施的第一方面，首先提供了一種數(shù)據(jù)同步方法，應(yīng)用于包括中轉(zhuǎn)服務(wù)器和數(shù)據(jù)庫服務(wù)器的系統(tǒng)；包括：

所述數(shù)據(jù)庫服務(wù)器在同步任務(wù)啟動的情況下，獲取增量數(shù)據(jù)同步請求，并向所述中轉(zhuǎn)服務(wù)器發(fā)送所述增量數(shù)據(jù)同步請求，其中，所述增量數(shù)據(jù)同步請求中包括數(shù)據(jù)倉庫中的源表標(biāo)識、與所述源表標(biāo)識對應(yīng)的源表的源分區(qū)標(biāo)識、以及列式數(shù)據(jù)庫中的與所述源表標(biāo)識對應(yīng)的正式表標(biāo)識；

所述中轉(zhuǎn)服務(wù)器響應(yīng)于所述增量數(shù)據(jù)同步請求，創(chuàng)建分布式文件系統(tǒng)HDFS文件，并從數(shù)據(jù)倉庫服務(wù)器獲取所述源分區(qū)標(biāo)識對應(yīng)的源分區(qū)中的增量數(shù)據(jù)，并將增量數(shù)據(jù)同步到所述HDFS文件，；

所述數(shù)據(jù)庫服務(wù)器響應(yīng)于所述增量數(shù)據(jù)同步請求，檢測是否收到所述中轉(zhuǎn)服務(wù)器發(fā)送的第一同步完成標(biāo)識，以根據(jù)所述第一同步完成標(biāo)識確定所述增量數(shù)據(jù)已同步到所述HDFS文件；

在所述增量數(shù)據(jù)已同步到所述HDFS文件的情況下，所述數(shù)據(jù)庫服務(wù)器在所述列式數(shù)據(jù)庫中創(chuàng)建與所述源表對應(yīng)的臨時表，并將所述HDFS文件中的所述增量數(shù)據(jù)同步到所述臨時表中與所述源分區(qū)對應(yīng)的分區(qū)中；

在所述增量數(shù)據(jù)已同步到所述分區(qū)的情況下，所述數(shù)據(jù)庫服務(wù)器將所述正式表標(biāo)識對應(yīng)的正式表中每個目標(biāo)分區(qū)的數(shù)據(jù)，同步到所述臨時表中與所述目標(biāo)分區(qū)對應(yīng)的分區(qū)中。

在本發(fā)明實施的第二方面，提供了一種數(shù)據(jù)同步方法，執(zhí)行于數(shù)據(jù)庫服務(wù)器，包括：

在同步任務(wù)啟動的情況下，獲取增量數(shù)據(jù)同步請求，并向中轉(zhuǎn)服務(wù)器發(fā)送所述增量數(shù)據(jù)同步請求，其中，所述增量數(shù)據(jù)同步請求中包括數(shù)據(jù)倉庫中的源表標(biāo)識、與所述源表標(biāo)識對應(yīng)的源表的源分區(qū)標(biāo)識、以及列式數(shù)據(jù)庫中的與所述源表標(biāo)識對應(yīng)的正式表標(biāo)識；