[發(fā)明專利]用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810877478.0
• 申請(qǐng)日: 2018-08-03
• 公開（公告）號(hào): CN110807013B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 馬振林
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/27
• 代理公司: 北京同鈞律師事務(wù)所 16037
• 代理人: 許懷遠(yuǎn)

本申請(qǐng)實(shí)施例提供了一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移方法和裝置，其中方法包括：獲取源集群的工作節(jié)點(diǎn)的預(yù)寫式日志W(wǎng)AL，該WAL用于記錄工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)，讀取WAL的內(nèi)容，以從工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)中獲取目標(biāo)遷移數(shù)據(jù)，將目標(biāo)遷移數(shù)據(jù)發(fā)送至消息中間件，消息中間件用于向目標(biāo)數(shù)據(jù)集群提供目標(biāo)遷移數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移方法和裝置。

背景技術(shù)

在分布式數(shù)據(jù)存儲(chǔ)集群中，通常需要將數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)同步到其他數(shù)據(jù)庫中。以HBase為例，通常需要將HBase中的數(shù)據(jù)同步到其他數(shù)據(jù)庫中，如將HBase中的數(shù)據(jù)同步到其他數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)分析，或者將HBase中的數(shù)據(jù)同步到其他數(shù)據(jù)庫中創(chuàng)建檢索索引。基于此，有必要提供一種技術(shù)方案，以對(duì)分布式數(shù)據(jù)存儲(chǔ)集群存儲(chǔ)的數(shù)據(jù)進(jìn)行遷移。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的是提供一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移方法和裝置，以對(duì)分布式數(shù)據(jù)存儲(chǔ)集群存儲(chǔ)的數(shù)據(jù)進(jìn)行遷移。

為達(dá)到上述目的，本申請(qǐng)實(shí)施例是這樣實(shí)現(xiàn)的：

本申請(qǐng)實(shí)施例提供了一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移方法，包括：獲取源集群的工作節(jié)點(diǎn)的預(yù)寫式日志W(wǎng)AL，所述WAL用于記錄所述工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)；讀取所述WAL的內(nèi)容，以從所述工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)中獲取目標(biāo)遷移數(shù)據(jù)；將所述目標(biāo)遷移數(shù)據(jù)發(fā)送至消息中間件，所述消息中間件用于向目標(biāo)數(shù)據(jù)集群提供所述目標(biāo)遷移數(shù)據(jù)。

本申請(qǐng)實(shí)施例提供了一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移裝置，包括：獲取模塊，用于獲取源集群的工作節(jié)點(diǎn)的預(yù)寫式日志W(wǎng)AL，所述WAL用于記錄所述工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)；讀取模塊，用于讀取所述WAL的內(nèi)容，以從所述工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)中獲取目標(biāo)遷移數(shù)據(jù)；遷移模塊，用于將所述目標(biāo)遷移數(shù)據(jù)發(fā)送至消息中間件，所述消息中間件用于向目標(biāo)數(shù)據(jù)集群提供所述目標(biāo)遷移數(shù)據(jù)。

本申請(qǐng)實(shí)施例提供了一種用于分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)遷移設(shè)備，包括：處理器；以及被安排成存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述可執(zhí)行指令在被執(zhí)行時(shí)使所述處理器實(shí)現(xiàn)上述的數(shù)據(jù)遷移方法。

本申請(qǐng)實(shí)施例提供了一種存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，所述可執(zhí)行指令在被執(zhí)行時(shí)實(shí)現(xiàn)上述的數(shù)據(jù)遷移方法。

本實(shí)施例中，通過獲取源集群的工作節(jié)點(diǎn)的預(yù)寫式日志W(wǎng)AL，該WAL用于記錄工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)，讀取WAL的內(nèi)容，以從工作節(jié)點(diǎn)的已存儲(chǔ)數(shù)據(jù)中獲取目標(biāo)遷移數(shù)據(jù)，將目標(biāo)遷移數(shù)據(jù)發(fā)送至用于向目標(biāo)數(shù)據(jù)集群提供目標(biāo)遷移數(shù)據(jù)消息中間件，能夠?qū)υ醇捍鎯?chǔ)的數(shù)據(jù)進(jìn)行遷移，將源集群存儲(chǔ)的數(shù)據(jù)導(dǎo)入目標(biāo)數(shù)據(jù)集群。由于無需監(jiān)聽分布式數(shù)據(jù)存儲(chǔ)集群的數(shù)據(jù)存儲(chǔ)操作，通過讀取WAL的內(nèi)容即可獲取目標(biāo)遷移數(shù)據(jù)，因此使得數(shù)據(jù)遷移流程與數(shù)據(jù)存儲(chǔ)流程互不干涉，節(jié)省了系統(tǒng)資源，提高了數(shù)據(jù)遷移效率。

附圖說明

為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請(qǐng)一實(shí)施例提供的分布式數(shù)據(jù)存儲(chǔ)集群的示意圖；

圖2為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移方法的流程示意圖；

圖3為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移的示意圖；

圖4a為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移的示意圖；

圖4b為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移的示意圖；

圖5為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移裝置的模塊組成示意圖；

圖6為本申請(qǐng)一實(shí)施例提供的數(shù)據(jù)遷移設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式