[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、服務(wù)器及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010165156.0
• 申請日: 2020-03-11
• 公開（公告）號: CN111291127B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計）人: 羅廷方;段效晨;康林;秦占明;趙艷杰
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/28
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

本發(fā)明實施例提供了一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及存儲介質(zhì)，方法包括：接收數(shù)據(jù)同步通知，所述數(shù)據(jù)同步通知為存儲有待同步的目標(biāo)類型數(shù)據(jù)的第一服務(wù)器發(fā)送的、針對所述目標(biāo)類型數(shù)據(jù)的同步通知；從所述第一服務(wù)器的MySQL中實時獲取所述目標(biāo)類型數(shù)據(jù)的Binlog文件；定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標(biāo)類型數(shù)據(jù)的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，得到同步后的所述目標(biāo)類型數(shù)據(jù)。與需要依靠人工實現(xiàn)的數(shù)據(jù)同步方式相比，通過本發(fā)明實施例可以提高數(shù)據(jù)同步的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)同步方法、裝置、服務(wù)器及存儲介質(zhì)。

背景技術(shù)

對于網(wǎng)絡(luò)服務(wù)等類型的企業(yè)而言，為滿足客戶的各種服務(wù)需求，一般都擁有自己的服務(wù)器集群，在服務(wù)器集群中分布有大量的服務(wù)器。各個服務(wù)器中通常配備有數(shù)據(jù)庫MySQL以及數(shù)據(jù)倉庫Hive。為便于數(shù)據(jù)管理，通常會將數(shù)據(jù)分成不同的類別，然后按照數(shù)據(jù)類別的不同分別存儲于不同服務(wù)器的MySQL中。例如，某服務(wù)器集群中包括2個服務(wù)器：服務(wù)器1和服務(wù)器2，在服務(wù)器1的MySQL中存儲各用戶的登錄操作日志，在服務(wù)器2的MySQL中存儲各用戶的網(wǎng)購操作日志。

隨著時間的累積，已存儲的數(shù)據(jù)有可能會被更新。并且，由于MySQL的存儲空間較小，隨著待存儲數(shù)據(jù)量不斷加大，也會出現(xiàn)MySQL存儲空間不足的問題。而某些指定類型的數(shù)據(jù)可能需要長期保存，以便后期查看或者使用，基于上述情況，需要將MySQL中的上述指定類型的數(shù)據(jù)同步至存儲空間更大的Hive中。

目前，數(shù)據(jù)同步過程主要依靠人工實現(xiàn)：人工周期性地在存儲有上述指定類型數(shù)據(jù)，也就是目標(biāo)類型數(shù)據(jù)的服務(wù)器的MySQL中，批量查找出有更新的數(shù)據(jù)，然后再將其存儲在預(yù)先設(shè)定的目標(biāo)服務(wù)器的Hive中，進(jìn)行數(shù)據(jù)同步。

上述過程，主要依靠人工實現(xiàn)，因此，數(shù)據(jù)同步的效率較低。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種數(shù)據(jù)同步方法、裝置、服務(wù)器及存儲介質(zhì)，以提高數(shù)據(jù)同步的效率。具體技術(shù)方案如下：

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)同步方法，包括：

接收數(shù)據(jù)同步通知，所述數(shù)據(jù)同步通知為存儲有待同步的目標(biāo)類型數(shù)據(jù)的第一服務(wù)器發(fā)送的、針對所述目標(biāo)類型數(shù)據(jù)的同步通知；

從所述第一服務(wù)器的MySQL中實時獲取所述目標(biāo)類型數(shù)據(jù)的Binlog文件；

定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標(biāo)類型數(shù)據(jù)的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，得到同步后的所述目標(biāo)類型數(shù)據(jù)。

進(jìn)一步的，所述接收數(shù)據(jù)同步通知的步驟包括：

通過Zookeeper客戶端接收數(shù)據(jù)同步通知；

所述從所述第一服務(wù)器的MySQL中實時獲取所述目標(biāo)類型數(shù)據(jù)的Binlog文件的步驟，包括：

通過Zookeeper客戶端，從所述第一服務(wù)器的MySQL中實時獲取所述目標(biāo)類型數(shù)據(jù)的Binlog文件。

進(jìn)一步的，所述定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標(biāo)類型數(shù)據(jù)的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，得到同步后的所述目標(biāo)類型數(shù)據(jù)的步驟，包括：

以第一預(yù)設(shè)時長為周期，定期將獲取到的所述Binlog文件導(dǎo)入本地Hive中；

以第二預(yù)設(shè)時長為周期，定期將本周期內(nèi)導(dǎo)入本地Hive中的Binlog文件與本地Hive中存在的所述目標(biāo)類型數(shù)據(jù)的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，得到同步后的所述目標(biāo)類型數(shù)據(jù)，其中，所述第二預(yù)設(shè)時長大于或者等于所述第一預(yù)設(shè)時長。