[發(fā)明專利]跨集群數(shù)據(jù)遷移方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410455695.2
• 申請日: 2014-09-09
• 公開（公告）號(hào): CN104239493B
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 黃剛;何洋
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,路凱

1.一種跨集群數(shù)據(jù)遷移方法，其特征在于，包括：

源集群的主控節(jié)點(diǎn)調(diào)用停止命令控制源集群的各子節(jié)點(diǎn)停止數(shù)據(jù)操作；

源集群的主控節(jié)點(diǎn)利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中；

源集群的主控節(jié)點(diǎn)對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進(jìn)行壓縮；

源集群的主控節(jié)點(diǎn)統(tǒng)計(jì)源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲(chǔ)空間大小及第一總文件塊數(shù)；

源集群的主控節(jié)點(diǎn)基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點(diǎn)的IP地址與主機(jī)名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；

如果獲取到源集群的映射化簡進(jìn)程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則目標(biāo)集群的主控節(jié)點(diǎn)統(tǒng)計(jì)目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲(chǔ)空間大小和第二總文件塊數(shù)，并將所述第二存儲(chǔ)空間大小和第二總文件塊數(shù)與所述第一存儲(chǔ)空間大小和所述第一總文件塊數(shù)匹配；

如果匹配成功，則目標(biāo)集群的主控節(jié)點(diǎn)采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進(jìn)行解壓；

目標(biāo)集群的主控節(jié)點(diǎn)基于啟動(dòng)策略，啟動(dòng)所述目標(biāo)集群。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在源集群的主控節(jié)點(diǎn)統(tǒng)計(jì)源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲(chǔ)空間大小及第一總文件塊數(shù)之前，還包括：

源集群的主控節(jié)點(diǎn)利用源集群的分布式數(shù)據(jù)庫的完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲(chǔ)空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)清除策略包括下述至少一項(xiàng)：

將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲(chǔ)空間中的帶有刪除標(biāo)識(shí)的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；

將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲(chǔ)空間中的達(dá)到生存時(shí)間的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；

將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲(chǔ)空間中的最大版本數(shù)大于門限值的數(shù)據(jù)表作為待清除的數(shù)據(jù)表。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過調(diào)用源集群的分布式數(shù)據(jù)庫命令行接口觸發(fā)清空緩沖區(qū)組件和完整文件合并組件。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在目標(biāo)集群的主控節(jié)點(diǎn)采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進(jìn)行解壓之前，還包括：

目標(biāo)集群的主控節(jié)點(diǎn)調(diào)用目標(biāo)集群中的一致性檢測組件，檢測目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表的一致性；

如果一致，則觸發(fā)目標(biāo)集群的主控節(jié)點(diǎn)采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進(jìn)行解壓。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，目標(biāo)集群的主控節(jié)點(diǎn)基于啟動(dòng)策略，啟動(dòng)所述目標(biāo)集群，包括：

目標(biāo)集群的主控節(jié)點(diǎn)調(diào)用啟動(dòng)命令啟動(dòng)目標(biāo)集群；

如果目標(biāo)集群的分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件中不存在錯(cuò)誤日志信息或警告日志信息，則目標(biāo)集群的主控節(jié)點(diǎn)調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫中的整體健康度檢查組件，查看目標(biāo)集群的整體健康度；

目標(biāo)集群的主控節(jié)點(diǎn)調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在通過目標(biāo)集群的分布式數(shù)據(jù)庫管理頁面，如果目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表沒有處于使能狀態(tài)，則目標(biāo)集群的主控節(jié)點(diǎn)調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)之后，還包括：

將目標(biāo)集群所包含的節(jié)點(diǎn)的IP地址與主機(jī)名稱的映射關(guān)系，以及目標(biāo)集群的分布式數(shù)據(jù)庫中的連接信息發(fā)送至業(yè)務(wù)方，并通知所述業(yè)務(wù)方對目標(biāo)集群的數(shù)據(jù)服務(wù)進(jìn)行驗(yàn)證。