[發明專利]一種數據遷移方法和裝置

在審

• 申請號: 201610007991.5
• 申請日: 2016-01-06
• 公開（公告）號: CN105718507A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 鄭振峰
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

技術領域

本公開涉及計算機技術，特別涉及一種數據遷移方法和裝置。

背景技術

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，是一個能夠 讓用戶輕松架構和使用的分布式計算平臺，用戶可以輕松地在Hadoop上開 發和運行處理海量數據的應用程序，在大數據處理中得到廣泛應用。隨著大 數據應用需求的不斷擴張，Hadoop也進行了一系列的版本變革以解決龐大的 需求變更造成的技術瓶頸。不過，Hadoop各個版本之間通常是不互相兼容的， 因此數據遷移就成為版本升級過程中必不可少的操作。例如，HIVE(hive 是基于Hadoop的一個數據倉庫工具)和HDFS(HadoopDistributedFile System，Hadoop分布式文件系統)之間的數據遷移是經常遇到的一個場景。

在跨集群的HIVE與HDFS之間的數據遷移場景中，當前的數據遷移方 式是，利用Hadoop自身的工具將一個Hadoop集群的數據導出到本地，然后 再導入到另一個Hadoop集群的HDFS或者HIVE中。這種遷移方式中，用 戶需要操作兩次才能實現最終的數據遷移，整個過程相當于進行了兩次完整 的數據遷移，使得數據遷移的效率降低；并且，該方式需要將數據導出到本 地，占用本地磁盤空間，磁盤I/O的操作相當耗時，也降低了遷移效率。

發明內容

有鑒于此，本公開提供一種數據遷移方法和裝置，以提高Hadoop跨集 群的數據遷移的效率。

具體地，本公開是通過如下技術方案實現的：

第一方面，提供一種數據遷移方法，所述數據遷移方法通過數據遷移工 具執行，所述方法包括：

通過第一類加載器加載第一集群的數據源，通過第二類加載器加載第二 集群的數據源；所述第一類加載器和第二類加載器均繼承所述數據遷移工具 的加載器；

在所述數據遷移工具中，第一線程通過所述第一類加載器讀取第一集群 的數據源的數據，將所述數據放入數據隊列；

在所述數據遷移工具中，第二線程通過所述第二類加載器將所述數據隊 列中的數據寫入第二集群的數據源。

第二方面，提供一種數據遷移裝置，包括：

加載器配置模塊，用于通過第一類加載器加載第一集群的數據源，通過 第二類加載器加載第二集群的數據源；所述第一類加載器和第二類加載器均 繼承所述數據遷移工具的加載器；

數據讀取模塊，用于在所述數據遷移工具中，第一線程通過所述第一類 加載器讀取第一集群的數據源的數據，將所述數據放入數據隊列；

數據寫入模塊，用于在所述數據遷移工具中，第二線程通過所述第二類 加載器將所述數據隊列中的數據寫入第二集群的數據源。

本公開實施例的數據遷移方法和裝置，通過第一類加載器和第二類加載 器分別加載兩個集群的數據目錄，第一類加載器從第一集群數據目錄讀取的 數據，可以被第二類加載器獲取并將數據寫入第二集群的數據目錄，從而通 過該JVM就可以實現兩個集群之間的數據遷移，相對于兩次操作遷移數據的 方式，提高了Hadoop跨集群的數據遷移的效率。

附圖說明

圖1是本公開實施例提供的一種數據遷移方法的原理圖；

圖2是本公開實施例提供的一種數據遷移方法的流程圖；

圖3是本公開實施例提供的一種數據遷移的過程示意圖；

圖4是本公開實施例提供的另一種數據遷移的過程示意圖；

圖5是本公開實施例提供的又一種數據遷移的過程示意圖；

圖6是本公開實施例提供的一種數據遷移裝置的結構示意圖。

具體實施方式

為了克服當前的數據遷移中，由于采用兩個遷移工具操作兩次才能實現 數據遷移導致的遷移效率低的問題，本申請實施例提供的數據遷移方法，將 在一個數據遷移工具中實現數據遷移，以提高跨集群的數據遷移的效率。