[發(fā)明專利]不中斷服務條件下,分布式數(shù)據(jù)庫迭代遷移的方法

無效

• 申請?zhí)枺?/td>: 201210292179.3
• 申請日: 2012-08-16
• 公開（公告）號: CN102855299A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 上海引跑信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及集群分布式計算領域。?

背景技術

在信息技術高速發(fā)展的今天，無論是互聯(lián)網(wǎng)還是企業(yè)內(nèi)部的數(shù)據(jù)量，都呈指數(shù)速度的發(fā)展和增加中。數(shù)據(jù)擴容的問題已顯得前所未有的重要。數(shù)據(jù)擴容涉及到對現(xiàn)有數(shù)據(jù)的重新分配，從而需要對現(xiàn)有數(shù)據(jù)進行大量的遷移，在生產(chǎn)環(huán)境下如何對數(shù)據(jù)進行大量遷移而不影響到應用服務的正常使用，是面臨的一個重大課題。?

為了在生產(chǎn)環(huán)境下對分布式數(shù)據(jù)庫進行遷移，發(fā)明了迭代遷移數(shù)據(jù)的方法，該方法通過將需要進行遷移的數(shù)據(jù)劃分成若干少量數(shù)據(jù)集進行迭代遷移，除當前正在遷移的這一少量數(shù)據(jù)外，其余數(shù)據(jù)可以進行正常操作。同時通過關聯(lián)性分析，將相關的數(shù)據(jù)分布到同一個迭代過程中進行遷移，從而保證數(shù)據(jù)的一致性和完整性。?

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種在生產(chǎn)環(huán)境下不中斷應用服務對分布式數(shù)據(jù)庫進行擴容和數(shù)據(jù)遷移的方法，通過將需遷移數(shù)據(jù)進行劃分，將大量數(shù)據(jù)劃分成若干少量數(shù)據(jù)進行迭代遷移，從而降低遷移過程對應用服務的正常運行所帶來的影響。同時通過理解關聯(lián)數(shù)據(jù)之間的關系，將相關數(shù)據(jù)劃分到同一迭代過程中來保證數(shù)據(jù)一致性和完整性。?

為達到上述目的，本發(fā)明設定了一種迭代遷移策略。?

1.計算遷移量，并進行數(shù)據(jù)劃分，將需遷移的數(shù)據(jù)平均地分配到每一個迭代過程中。?

2.對數(shù)據(jù)進行關聯(lián)關系分析，保證相關數(shù)據(jù)被劃分到同一個迭代過程中。?

3.對每一迭代過程進行事務控制，保證數(shù)據(jù)一致性和完整性。?

4.在每一迭代過程開始時通知應用，此部分數(shù)據(jù)正在遷移，不能再對其進行增、刪、改操作，在結(jié)束時通知應用遷移已結(jié)束，可以對其進行增、刪、改操作。?

附圖說明

附圖為本發(fā)明的工作流程示意圖，在本示例中，將原有的2個存儲節(jié)點擴容為4個存儲節(jié)點。通過迭代方法將原有的2個節(jié)點中的一部分數(shù)據(jù)在不中斷服務的情況下遷移至新增的2個存儲節(jié)點中。?

具體實施方式

下面結(jié)合附圖對本發(fā)明所述的技術方案做進一步詳細描述。?

附圖展示了如何在生產(chǎn)環(huán)境下將2個存儲節(jié)點擴容為4個節(jié)點的過程，以及如何與應用程序交互的過程。?

迭代遷移的步驟如下：?

1)計算需要遷移的數(shù)據(jù)量，以及將要遷移至的目標存儲節(jié)點。?

2)將數(shù)據(jù)劃分到若干小的迭代遷移任務，此過程包含數(shù)據(jù)相關性判斷，相關數(shù)據(jù)將被劃分到同一任務中。?

3)利用多線程同時啟動多個迭代任務。?

4)每一任務開始時將通知應用程序此部分遷移開始，同時鎖定數(shù)據(jù)。?

5)進行數(shù)據(jù)遷移，每一迭代任務在同一個事務中處理。?

6)每一任務遷移完成時通知應用程序此部分遷移結(jié)束，同時解鎖數(shù)據(jù)。?

7)主線程詢問是否還有迭代遷移任務，如還有，繼續(xù)遷移，否則退出，全部遷移完成。?