[發(fā)明專利]數(shù)據(jù)遷移的優(yōu)化方法、評估方法及處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201610166580.0
• 申請日: 2016-03-22
• 公開（公告）號: CN107220263B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 黃儼;何樂;史英杰;張杰;張辰
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京市惠誠律師事務(wù)所 11353
• 代理人: 劉子敬

本發(fā)明實施例提供了一種數(shù)據(jù)遷移的優(yōu)化方法、評估方法及處理方法及裝置，其中，優(yōu)化方法包括按照將第一被依賴數(shù)據(jù)量較多的一個或多個待遷移數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計算集群的原則，生成多個數(shù)據(jù)遷移方案；計算切換計算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；根據(jù)帶寬狀態(tài)數(shù)據(jù)對各個數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。本發(fā)明實施例的數(shù)據(jù)遷移的優(yōu)化方法，通過按照優(yōu)先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后切換計算集群的原則，并對各個方案進(jìn)行基于帶寬狀態(tài)數(shù)據(jù)的預(yù)測評估，然后在進(jìn)行優(yōu)化選擇，從而能夠獲得較為優(yōu)選的數(shù)據(jù)遷移方案，提高數(shù)據(jù)遷移的效率，降低數(shù)據(jù)遷移失敗的風(fēng)險。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及一種數(shù)據(jù)遷移的優(yōu)化方法、評估方法及處理方法及裝置，屬于計算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)

現(xiàn)有技術(shù)的數(shù)據(jù)遷移方式是先將待遷移的項目單元的全部數(shù)據(jù)單元從源集群復(fù)制到目標(biāo)集群，在此期間與遷移數(shù)據(jù)相關(guān)的一切計算任務(wù)仍然運行在源集群，直至完全復(fù)制完成后，再將計算任務(wù)從源集群切換到目標(biāo)集群。對于大規(guī)模的數(shù)據(jù)遷移(例如包含數(shù)據(jù)量比較大的項目單元)來說，整個過程會耗時很長。并且，現(xiàn)有數(shù)據(jù)在遷移執(zhí)行之前，并未進(jìn)行基于數(shù)據(jù)依賴關(guān)系的評估，即沒有考慮數(shù)據(jù)依賴關(guān)系在遷移后對于集群件帶寬的影響。

發(fā)明人的實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)存在如下缺陷：

1)新數(shù)據(jù)產(chǎn)生所帶來的缺陷：一些大型業(yè)務(wù)的新數(shù)據(jù)產(chǎn)生非常頻繁，新數(shù)據(jù)的產(chǎn)生速度非常快，而現(xiàn)有技術(shù)是等待全部數(shù)據(jù)復(fù)制完后再進(jìn)行計算任務(wù)的切換，這樣會導(dǎo)致遷移的時間會非常長，遷移效率極低，而在此期間，計算任務(wù)仍然運行在源集群中，會持續(xù)產(chǎn)生新數(shù)據(jù)。如果新數(shù)據(jù)產(chǎn)生的速度大于遷移復(fù)制數(shù)據(jù)的速度(這種情況也是經(jīng)常發(fā)生)，在這種情況下，如果不停止業(yè)務(wù)產(chǎn)生新數(shù)據(jù)，那么遷移任務(wù)將永遠(yuǎn)不能結(jié)束。

2)缺少基于數(shù)據(jù)依賴關(guān)系的評估所帶來的缺陷：在數(shù)據(jù)遷移前缺少基于數(shù)據(jù)依賴關(guān)系的評估，往往是在遷移之后才發(fā)現(xiàn)重大問題。由于數(shù)據(jù)單元之間存在復(fù)雜的依賴關(guān)系，遷移之后會導(dǎo)致集群間數(shù)據(jù)訪問量發(fā)生變化。如果未做充分評估而貿(mào)然遷移，遷移后可能導(dǎo)致集群間的網(wǎng)絡(luò)帶寬惡化。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)遷移的優(yōu)化方法、評估方法及處理方法及裝置，以解決現(xiàn)有技術(shù)中新業(yè)務(wù)產(chǎn)生所帶來的缺陷以及缺少數(shù)據(jù)依賴關(guān)系的評估所帶來的缺陷。

本發(fā)明實施例提供了一種數(shù)據(jù)遷移的優(yōu)化方法，包括：

按照將第一被依賴數(shù)據(jù)量較多的一個或多個待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計算集群的原則，生成多個數(shù)據(jù)遷移方案，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

針對所述各個數(shù)據(jù)遷移方案，計算切換計算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

根據(jù)所述帶寬狀態(tài)數(shù)據(jù)對各個所述數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。

本發(fā)明實施例還提供了一種數(shù)據(jù)遷移的評估方法，包括：

獲取在切換計算集群前，源集群中要復(fù)制到目標(biāo)集群中的一個或多個待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，所述第二被依賴數(shù)據(jù)量為所述待復(fù)制數(shù)據(jù)單元與所述目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量；

計算切換計算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

根據(jù)所述帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬可行性條件來確定數(shù)據(jù)遷移方案是否可行。

本發(fā)明實施例還提供了一種數(shù)據(jù)遷移的處理方法，包括：

將第一被依賴數(shù)據(jù)量較多的一個或多個待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

切換計算集群；

遷移剩余的一個或多個待遷移數(shù)據(jù)單元至目標(biāo)集群。