[發(fā)明專利]數(shù)據(jù)同步處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210570241.0
• 申請(qǐng)日: 2012-12-25
• 公開（公告）號(hào): CN103905220B
• 公開（公告）日: 2018-02-27
• 發(fā)明（設(shè)計(jì)）人: 周智昊;田明;劉里;江興才
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（北京）有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/08
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44285
• 代理人: 王仲凱

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)同步技術(shù)領(lǐng)域；特別涉及一種數(shù)據(jù)同步處理方法及系統(tǒng)。

背景技術(shù)

微博是一種典型的UGC（User Generated Content，用戶原創(chuàng)內(nèi)容）業(yè)務(wù)，數(shù)據(jù)的產(chǎn)生和用戶的行為有很密切的關(guān)系。當(dāng)?shù)讓哟鎯?chǔ)服務(wù)器故障或因?yàn)檫\(yùn)維不可寫入時(shí)，用戶會(huì)有很高的概率感知到后臺(tái)系統(tǒng)的故障。

為了減少底層業(yè)務(wù)故障對(duì)用戶的直觀影響，常見方法是采用一些柔性策略，例如在故障時(shí)只返回部分可用的數(shù)據(jù)，或使用某些副本上的數(shù)據(jù)做讀取。在這種場景下，往往受影響的數(shù)據(jù)是不可寫入的，此時(shí)的用戶寫操作將全部失敗。為了降低機(jī)器故障等因素對(duì)用戶產(chǎn)生的影響，需要一種快速的數(shù)據(jù)恢復(fù)和運(yùn)維手段。

現(xiàn)有技術(shù)中，重做流水（redo）是一種后臺(tái)服務(wù)常見的數(shù)據(jù)恢復(fù)方式，業(yè)務(wù)通過先將寫動(dòng)作的流水記錄到本地或遠(yuǎn)程，當(dāng)機(jī)器故障時(shí)可以通過將流水中的寫動(dòng)作重放，來恢復(fù)數(shù)據(jù)。

重做流水需要按原來的寫入順序（Seq）重放，這是為了保證寫動(dòng)作的順序性。但從Seq=0開始從頭恢復(fù)，一般需要消耗大量時(shí)間（相當(dāng)于將所有寫動(dòng)作從頭寫一遍）。所以配合流水重做，一般還會(huì)配合數(shù)據(jù)快照（Snapshot）技術(shù)，將內(nèi)存數(shù)據(jù)的快照導(dǎo)出到磁盤，并且記錄導(dǎo)出時(shí)刻的順序（Seq）；當(dāng)恢復(fù)數(shù)據(jù)前先將快照加載到內(nèi)存，此時(shí)重做流水就可以從快照點(diǎn)的順序（Seq）繼續(xù)執(zhí)行，從而節(jié)省從頭重做流水（redo）的時(shí)間。

在傳統(tǒng)方案中，當(dāng)主機(jī)故障或進(jìn)行數(shù)據(jù)遷移時(shí)，需要先取得當(dāng)天或者前一天的數(shù)據(jù)快照，然后獲取主機(jī)上的流水文件（或獲取遠(yuǎn)程流水）。復(fù)制流水前還需要對(duì)主機(jī)禁寫，這樣是保證遷移過程中數(shù)據(jù)的一致性，如果在舊的機(jī)器上進(jìn)行了寫入但未復(fù)制該流水到新的主機(jī)，將導(dǎo)致這一部分?jǐn)?shù)據(jù)的丟失。所以一般的，在數(shù)據(jù)恢復(fù)過程時(shí)，需要按照復(fù)制快照、主機(jī)禁寫、復(fù)制流水、恢復(fù)快照、流水重做這樣的步驟進(jìn)行操作。

由于傳統(tǒng)方案中需要進(jìn)行繁瑣的重做流水操作，并且需要對(duì)主機(jī)進(jìn)行較長時(shí)間的禁寫操作，對(duì)外不可寫的時(shí)間較長，用戶對(duì)機(jī)器故障等運(yùn)維操作的感知程度較為明顯。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步處理方法及系統(tǒng)，避免傳統(tǒng)方法中繁瑣的重做流水操作，并且很大程度縮短對(duì)外不可寫的時(shí)間，從而減少用戶對(duì)數(shù)據(jù)遷移或機(jī)器故障等運(yùn)維操作的感知程度。所述技術(shù)方案如下：

一種數(shù)據(jù)同步處理方法，包括：

提供對(duì)數(shù)據(jù)塊配置有主標(biāo)志和可寫標(biāo)志的第一服務(wù)器；

提供第二服務(wù)器，并將該數(shù)據(jù)塊的快照在所述第二服務(wù)器上導(dǎo)入；

對(duì)所述第二服務(wù)器上的該數(shù)據(jù)塊配置可同步標(biāo)志；

由同步組件將所述第一服務(wù)器上該數(shù)據(jù)塊的寫入數(shù)據(jù)同步至所述第二服務(wù)器上；

在要從所述第一服務(wù)器上遷出該數(shù)據(jù)塊時(shí)，移除所述第一服務(wù)器上該數(shù)據(jù)塊的可寫標(biāo)志；

由同步組件將所述第一服務(wù)器上該數(shù)據(jù)塊的最新寫入數(shù)據(jù)同步至所述第二服務(wù)器上；

在所述第二服務(wù)器與所述第一服務(wù)器上該數(shù)據(jù)塊的數(shù)據(jù)完全同步后，移除所述第一服務(wù)器上該數(shù)據(jù)塊的主標(biāo)志和移除所述第二服務(wù)器上該數(shù)據(jù)塊的可同步標(biāo)志，以及對(duì)所述第二服務(wù)器上的該數(shù)據(jù)塊配置主標(biāo)志和可寫標(biāo)志。

一種數(shù)據(jù)同步處理方法，包括：

提供對(duì)數(shù)據(jù)塊配置有可同步標(biāo)志的第一服務(wù)器；

提供對(duì)該數(shù)據(jù)塊配置有主標(biāo)志和可寫標(biāo)志的第二服務(wù)器；

由同步組件將所述第二服務(wù)器上該數(shù)據(jù)塊的寫入數(shù)據(jù)同步至所述第一服務(wù)器上；

若所述第二服務(wù)器出現(xiàn)故障，則移除所述第二服務(wù)器上該數(shù)據(jù)塊的主標(biāo)志和移除所述第一服務(wù)器上該數(shù)據(jù)塊的可同步標(biāo)志，以及對(duì)所述第一服務(wù)器上的該數(shù)據(jù)塊配置主標(biāo)志和可寫標(biāo)志；

在所述第二服務(wù)器的故障恢復(fù)后，將該數(shù)據(jù)塊的快照在所述第二服務(wù)器上導(dǎo)入；

對(duì)所述第二服務(wù)器上的該數(shù)據(jù)塊配置可同步標(biāo)志；

由同步組件將所述第一服務(wù)器上該數(shù)據(jù)塊的寫入數(shù)據(jù)同步至所述第二服務(wù)器上；

在要恢復(fù)所述第二服務(wù)器針對(duì)該數(shù)據(jù)塊的主機(jī)地位時(shí)，移除所述第一服務(wù)器上該數(shù)據(jù)塊的可寫標(biāo)志；

由同步組件將所述第一服務(wù)器上該數(shù)據(jù)塊的最新寫入數(shù)據(jù)同步至所述第二服務(wù)器上；

在所述第二服務(wù)器與所述第一服務(wù)器上該數(shù)據(jù)塊的數(shù)據(jù)完全同步后，移除所述第一服務(wù)器上該數(shù)據(jù)塊的主標(biāo)志和移除所述第二服務(wù)器上該數(shù)據(jù)塊的可同步標(biāo)志，對(duì)所述第二服務(wù)器上的該數(shù)據(jù)塊配置主標(biāo)志和可寫標(biāo)志以及對(duì)所述第一服務(wù)器上的該數(shù)據(jù)塊配置可同步標(biāo)志。

一種數(shù)據(jù)同步處理系統(tǒng)，包括：

第一服務(wù)器；

第二服務(wù)器；