[發明專利]一種數據同步的方法和裝置

在審

• 申請號: 201710750922.8
• 申請日: 2017-08-28
• 公開（公告）號: CN107609061A
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 李貴榮;黃承松;夏里峰;宋書俊
• 申請（專利權）人: 武漢奇米網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩,吳歡燕

1.一種數據同步的方法，其特征在于，包括：

將數據同步任務列表上傳到分布式文件系統，所述數據同步任務列表包含從源端到每一目的端的數據傳輸任務；

將DataX上傳至Hadoop集群中的每一節點；

通過MapReduce從所述數據同步任務列表獲取每一數據傳輸任務的數據，并將每一數據傳輸任務的數據逐一傳入到Hadoop集群中不同節點的DataX；

通過所述MapReduce啟動所述Hadoop集群中不同節點的DataX，通過所述Hadoop集群中不同節點的DataX實現從所述源端到每一目的端的數據傳輸，以完成從所述源端到每一目的端的數據同步。

2.根據權利要求1所述的方法，其特征在于，所述將數據同步任務列表上傳到分布式文件系統之前，還包括：

獲取所述源端的地址信息和數每一目的端的地址信息；

根據所述源端的地址信息和每一目的端的地址信息，確定數據同步任務列表。

3.根據權利要求2所述的方法，其特征在于，所述根據所述源端的地址信息和每一目的端的地址信息，確定數據同步任務列表，包括：

根據DataX任務配置文件的格式，將所述源端的地址信息和每一目的端的地址信息依次寫入到所述數據同步任務列表。

4.根據權利要求2所述的方法，其特征在于，所述將DataX上傳至Hadoop集群中的每一節點之前，還包括：

獲取所述源端的數據類型信息和每一目的端數據類型信息；

根據所述源端的數據類型信息和每一目的端的數據類型信息，配置DataX。

5.根據權利要求4所述的方法，其特征在于，所述根據所述源端的數據類型信息和每一目的端的數據類型信息，配置DataX，包括：

根據所述源端的數據類型信息，添加DataX的數據讀入模塊的插件，以使DataX支持對所述源端的數據類型的讀入；

根據每一目的端的數據類型信息，添加DataX的數據寫出模塊的插件，以使DataX支持對每一目的端的數據類型的寫出。

6.根據權利要求1所述的方法，其特征在于，所述通過MapReduce從所述數據同步任務列表獲取每一數據傳輸任務的數據，包括：

根據每一數據傳輸任務的數據格式，定制所述MapReduce的InputFormat類和RecordReader類；

通過所述MapReduce的InputFormat類，劃分所述數據同步任務列表的數據，并通過所述MapReduce的RecordReader類，依次讀取每一數據傳輸任務的數據。

7.根據權利要求3所述的方法，其特征在于，所述通過所述MapReduce啟動所述Hadoop集群中不同節點的DataX，通過所述Hadoop集群中不同節點的DataX實現從所述源端到每一目的端的數據傳輸，包括：

根據所述Hadoop集群中不同節點的DataX對應的存儲路徑，通過所述MapReduce的Mapper類啟動所述Hadoop集群中不同節點的DataX，以使得每一DataX根據所述源端的地址信息和目的端的地址信息，將所述源端的數據傳輸至目的端。

8.一種數據同步的裝置，其特征在于，包括：

至少一個處理器；以及與所述處理器通信連接的至少一個存儲器，其中：

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令以執行如權利要求1至7任一所述的方法。

9.一種計算機程序產品，其特征在于，所述計算機程序產品包括存儲在非暫態計算機可讀存儲介質上的計算機程序，所述計算機程序包括程序指令，當所述程序指令被計算機執行時，使所述計算機執行如權利要求1至7任一所述的方法。

10.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質存儲計算機程序，所述計算機程序使所述計算機執行如權利要求1至7任一所述的方法。