[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、服務(wù)器及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010165156.0
• 申請日: 2020-03-11
• 公開（公告）號: CN111291127B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計）人: 羅廷方;段效晨;康林;秦占明;趙艷杰
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/28
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

1.一種數(shù)據(jù)同步方法，其特征在于，包括：

接收數(shù)據(jù)同步通知，所述數(shù)據(jù)同步通知為存儲有待同步的目標類型數(shù)據(jù)的第一服務(wù)器發(fā)送的、針對所述目標類型數(shù)據(jù)的同步通知；

從所述第一服務(wù)器的MySQL中實時獲取所述目標類型數(shù)據(jù)的Binlog文件；

定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收數(shù)據(jù)同步通知的步驟包括：

通過Zookeeper客戶端接收數(shù)據(jù)同步通知；

所述從所述第一服務(wù)器的MySQL中實時獲取所述目標類型數(shù)據(jù)的Binlog文件的步驟，包括：

通過Zookeeper客戶端，從所述第一服務(wù)器的MySQL中實時獲取所述目標類型數(shù)據(jù)的Binlog文件。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)的步驟，包括：

以第一預設(shè)時長為周期，定期將獲取到的所述Binlog文件導入本地Hive中；

以第二預設(shè)時長為周期，定期將本周期內(nèi)導入本地Hive中的Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)，其中，所述第二預設(shè)時長大于或者等于所述第一預設(shè)時長。

4.一種數(shù)據(jù)同步方法，其特征在于，應用于服務(wù)器集群，所述服務(wù)器集群中包括：存儲有待同步的目標類型數(shù)據(jù)的第一服務(wù)器以及除所述第一服務(wù)器之外的其他服務(wù)器；所述方法，包括：

所述第一服務(wù)器接收針對所述目標類型數(shù)據(jù)的數(shù)據(jù)同步指令；

所述第一服務(wù)器從所述服務(wù)器集群中確定用于存儲同步后的所述目標類型數(shù)據(jù)的目標服務(wù)器；

所述第一服務(wù)器向所述目標服務(wù)器發(fā)送針對所述目標類型數(shù)據(jù)的數(shù)據(jù)同步通知；

所述目標服務(wù)器從所述第一服務(wù)器的MySQL中實時獲取所述目標類型數(shù)據(jù)的Binlog文件；

所述目標服務(wù)器定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述目標服務(wù)器定期將獲取到的所述Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)的步驟，包括：

所述目標服務(wù)器以第一預設(shè)時長為周期，定期將獲取到的所述Binlog文件導入本地Hive中；

所述目標服務(wù)器以第二預設(shè)時長為周期，定期將本周期內(nèi)導入本地Hive中的Binlog文件與本地Hive中存在的所述目標類型數(shù)據(jù)的存量數(shù)據(jù)進行數(shù)據(jù)合并，得到同步后的所述目標類型數(shù)據(jù)，其中，所述第二預設(shè)時長大于或者等于所述第一預設(shè)時長。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述數(shù)據(jù)同步指令中包含有用于存儲同步后的所述目標類型數(shù)據(jù)的目標服務(wù)器的標識信息；

所述第一服務(wù)器從所述服務(wù)器集群中確定用于存儲同步后的所述目標類型數(shù)據(jù)的目標服務(wù)器的步驟，包括：

所述第一服務(wù)器根據(jù)所述標識信息，從所述服務(wù)器集群中確定用于存儲同步后的所述目標類型數(shù)據(jù)的目標服務(wù)器。