[發明專利]一種數據遷移方法和裝置

在審

• 申請號: 201610007991.5
• 申請日: 2016-01-06
• 公開（公告）號: CN105718507A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 鄭振峰
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據遷移方法，其特征在于，所述數據遷移方法通過數據遷移工 具執行，所述方法包括：

通過第一類加載器加載第一集群的數據源，通過第二類加載器加載第二 集群的數據源；所述第一類加載器和第二類加載器均繼承所述數據遷移工具 的加載器；

在所述數據遷移工具中，第一線程通過所述第一類加載器讀取第一集群 的數據源的數據，將所述數據放入數據隊列；

在所述數據遷移工具中，第二線程通過所述第二類加載器將所述數據隊 列中的數據寫入第二集群的數據源。

2.根據權利要求1所述的方法，其特征在于，

所述第一集群的數據源是HIVE，第二集群的數據源是HDFS；

所述數據遷移工具中包括第一線程池，所述第一線程池中包括多個所述 第一線程，每個第一線程用于通過HIVE接口連接HIVE，讀取所述HIVE的 數據源的一個數據分片；

所述數據遷移工具包括第二線程池，所述第二線程池中包括多個所述第 二線程，每個第二線程對應一個第一線程，用于通過HDFS接口連接HDFS， 將所述第一線程的數據分片寫入一個HDFS文件中。

3.根據權利要求2所述的方法，其特征在于，所述HIVE接口是JDBC 接口，所述HDFS接口是FileSystem接口。

4.根據權利要求1所述的方法，其特征在于，

所述第一集群的數據源是HDFS，第二集群的數據源是HIVE；

所述數據遷移工具中包括第一線程池，所述第一線程池中包括多個所述 第一線程，每個第一線程用于讀取所述HDFS的數據源的一個數據分片；

所述數據遷移工具包括第二線程池，所述第二線程池中包括多個所述第 二線程，每個第二線程對應一個第一線程，用于將所述第一線程的數據分片 寫入HIVE外部表指定的HDFS目錄中的一個HDFS文件中。

5.根據權利要求1所述的方法，其特征在于，

所述第一集群的數據源是HDFS，第二集群的數據源是HIVE；

所述數據遷移工具中包括第一線程池，所述第一線程池中包括多個所述 第一線程，每個第一線程用于讀取所述HDFS的數據源的一個數據分片；

所述數據遷移工具包括第二線程池，所述第二線程池中包括多個所述第 二線程，每個第二線程對應一個第一線程，用于將所述第一線程的數據分片 寫入臨時HDFS目錄中的一個HDFS文件，并通過HIVE接口連接HIVE， 將所述HDFS文件中的數據寫入HIVE。

6.一種數據遷移裝置，其特征在于，包括：

加載器配置模塊，用于通過第一類加載器加載第一集群的數據源，通過 第二類加載器加載第二集群的數據源；所述第一類加載器和第二類加載器均 繼承所述數據遷移工具的加載器；

數據讀取模塊，用于在所述數據遷移工具中，第一線程通過所述第一類 加載器讀取第一集群的數據源的數據，將所述數據放入數據隊列；

數據寫入模塊，用于在所述數據遷移工具中，第二線程通過所述第二類 加載器將所述數據隊列中的數據寫入第二集群的數據源。

7.根據權利要求6所述的裝置，其特征在于，所述第一集群的數據源是 HIVE，第二集群的數據源是HDFS；

所述數據讀取模塊，包括第一線程池，所述第一線程池中包括多個所述 第一線程，每個第一線程用于通過HIVE接口連接HIVE，讀取所述HIVE的 數據源的一個數據分片；

所述數據寫入模塊，包括第二線程池，所述第二線程池中包括多個所述 第二線程，每個第二線程對應一個第一線程，用于通過HDFS接口連接HDFS， 將所述第一線程的數據分片寫入一個HDFS文件中。

8.根據權利要求7所述的裝置，其特征在于，所述HIVE接口是JDBC 接口，所述HDFS接口是FileSystem接口。