[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710301920.0
• 申請(qǐng)日: 2017-05-02
• 公開（公告）號(hào): CN107145562B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 張夏旭
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23;H04L29/08
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 趙元;馬敬

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步方法、裝置及系統(tǒng)，系統(tǒng)包括源數(shù)據(jù)倉(cāng)庫(kù)、預(yù)設(shè)存儲(chǔ)區(qū)域和所述目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)，其中，所述預(yù)設(shè)存儲(chǔ)區(qū)域用于存儲(chǔ)歷史同步文件，所述歷史同步文件攜帶有數(shù)據(jù)的標(biāo)識(shí)，方法包括：確定待同步的目標(biāo)數(shù)據(jù)的目標(biāo)標(biāo)識(shí)；檢測(cè)預(yù)設(shè)存儲(chǔ)區(qū)域中是否存儲(chǔ)有目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件；當(dāng)預(yù)設(shè)存儲(chǔ)區(qū)域中存儲(chǔ)有所述目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件時(shí)，獲取預(yù)設(shè)存儲(chǔ)區(qū)域中的目標(biāo)同步文件；將所獲取的目標(biāo)同步文件中的目標(biāo)數(shù)據(jù)更新到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。應(yīng)用本發(fā)明實(shí)施例所提供的方案，可以減小源數(shù)據(jù)倉(cāng)庫(kù)負(fù)擔(dān)，以及提高數(shù)據(jù)同步效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)同步方法、裝置及系統(tǒng)。

背景技術(shù)

現(xiàn)有技術(shù)中，一種常見的數(shù)據(jù)同步方法是數(shù)據(jù)倉(cāng)庫(kù)同步方法，即將目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)與源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)進(jìn)行同步，其中，源數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)有最新數(shù)據(jù)。現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)同步方法的過(guò)程為：目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)向源數(shù)據(jù)倉(cāng)庫(kù)發(fā)送數(shù)據(jù)同步請(qǐng)求，數(shù)據(jù)同步請(qǐng)求中攜帶有待同步的目標(biāo)數(shù)據(jù)的目標(biāo)標(biāo)識(shí)；然后，源數(shù)據(jù)倉(cāng)庫(kù)根據(jù)該目標(biāo)標(biāo)識(shí)從源數(shù)據(jù)倉(cāng)庫(kù)中導(dǎo)出該目標(biāo)數(shù)據(jù)到目標(biāo)同步文件，并將該目標(biāo)同步文件發(fā)送給目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)；進(jìn)而，目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)接收該目標(biāo)同步文件，并將該目標(biāo)同步文件中數(shù)據(jù)存儲(chǔ)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中，然后刪除該目標(biāo)同步文件。

當(dāng)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)量為多個(gè)時(shí)，各個(gè)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)同步是相互獨(dú)立的。如果各個(gè)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)待更新的目標(biāo)數(shù)據(jù)是一樣的，則每個(gè)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)都會(huì)向源數(shù)據(jù)倉(cāng)庫(kù)發(fā)送數(shù)據(jù)同步請(qǐng)求，源數(shù)據(jù)倉(cāng)庫(kù)需要每次都對(duì)數(shù)據(jù)同步請(qǐng)求進(jìn)行響應(yīng)，這樣的話，就增加了源數(shù)據(jù)倉(cāng)庫(kù)的負(fù)擔(dān)。并且，源數(shù)據(jù)倉(cāng)庫(kù)每接收到數(shù)據(jù)同步請(qǐng)求，都會(huì)執(zhí)行從源數(shù)據(jù)倉(cāng)庫(kù)中導(dǎo)出目標(biāo)數(shù)據(jù)到目標(biāo)同步文件，之后再將目標(biāo)同步文件發(fā)送給目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的步驟。這樣的話，就會(huì)增加目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)同步的時(shí)長(zhǎng)，數(shù)據(jù)同步效率較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)同步方法、裝置及系統(tǒng)，以減小源數(shù)據(jù)倉(cāng)庫(kù)負(fù)擔(dān)，以及提高數(shù)據(jù)同步效率。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)同步系統(tǒng)中的目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)同步系統(tǒng)包括源數(shù)據(jù)倉(cāng)庫(kù)、預(yù)設(shè)存儲(chǔ)區(qū)域和所述目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)，其中，所述預(yù)設(shè)存儲(chǔ)區(qū)域用于歷史同步文件，所述歷史同步文件攜帶有數(shù)據(jù)的標(biāo)識(shí)，所述方法包括：

獲取待同步的目標(biāo)數(shù)據(jù)的目標(biāo)標(biāo)識(shí)；

檢測(cè)預(yù)設(shè)存儲(chǔ)區(qū)域中是否存儲(chǔ)有所述目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件；

當(dāng)預(yù)設(shè)存儲(chǔ)區(qū)域中存儲(chǔ)有所述目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件時(shí)，獲取所述預(yù)設(shè)存儲(chǔ)區(qū)域中的所述目標(biāo)同步文件；

將所獲取的所述目標(biāo)同步文件中的目標(biāo)數(shù)據(jù)更新到所述目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。

可選地，所述方法還包括：

當(dāng)預(yù)設(shè)存儲(chǔ)區(qū)域中未存儲(chǔ)有所述目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件時(shí)，向源數(shù)據(jù)倉(cāng)庫(kù)發(fā)送攜帶有所述目標(biāo)標(biāo)識(shí)的數(shù)據(jù)同步請(qǐng)求，以使得所述源數(shù)據(jù)倉(cāng)庫(kù)在接收到所述數(shù)據(jù)同步請(qǐng)求后，基于具有所述目標(biāo)標(biāo)識(shí)的所述目標(biāo)數(shù)據(jù)生成所述目標(biāo)同步文件，并發(fā)送給所述目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)；

接收所述源數(shù)據(jù)倉(cāng)庫(kù)發(fā)送的所述目標(biāo)同步文件，并將所接收到的目標(biāo)同步文件中的目標(biāo)數(shù)據(jù)更新到所述目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。

可選地，所述方法還包括：

校驗(yàn)存儲(chǔ)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)數(shù)據(jù)與源數(shù)據(jù)倉(cāng)庫(kù)中的目標(biāo)數(shù)據(jù)是否一致，如果不一致，返回向源數(shù)據(jù)倉(cāng)庫(kù)發(fā)送數(shù)據(jù)同步請(qǐng)求的步驟。

可選地，檢測(cè)到預(yù)設(shè)存儲(chǔ)區(qū)域中存儲(chǔ)有所述目標(biāo)標(biāo)識(shí)所對(duì)應(yīng)的目標(biāo)同步文件的步驟之后，所述獲取所述預(yù)設(shè)存儲(chǔ)區(qū)域中的所述目標(biāo)同步文件的步驟之前，所述方法還包括：對(duì)所述目標(biāo)同步文件添加加鎖標(biāo)識(shí)；

所述獲取所述預(yù)設(shè)存儲(chǔ)區(qū)域中的所述目標(biāo)同步文件的步驟之后，所述方法還包括：將所述同步文件的所述加鎖標(biāo)識(shí)去除。