[發明專利]數據全量導出方法、數據導出任務分配裝置及數據導出節點裝置

有效

• 申請號: 201711395359.3
• 申請日: 2017-12-21
• 公開（公告）號: CN108228752B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 牛龍飛;陳斌;周一峰
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊澤;劉芳

1.一種數據全量導出方法，其特征在于，包括：

數據導出任務分配裝置針對待導出數據表中的每一數據單元，分析管理所述數據單元的服務單元，其中，所述待導出數據表中包括至少一個數據單元；

所述數據導出任務分配裝置將所述待導出數據表中的每一數據單元導出任務分別分配至管理所述數據單元的服務單元所在的主機，以使所述主機上部署的數據導出節點裝置根據其管理的各個數據單元的權重，將所述數據單元平均分配至各個線程池中進行數據導出，其中各個所述線程池中進行數據導出的所述數據單元的加權和相同；所述數據導出任務分配裝置導出的所述數據單元為通過預設的篩選條件篩選后的所述數據導出單元；所述數據導出任務分配裝置根據服務單元檢測當前數據單元在HDFS的數據節點存儲的副本后確定的完整度確定導出的所述數據單元的數據導出方式；

其中，所述篩選包括刪除所述數據單元中的重復數據；

其中，所述數據導出方式包括以下至少一種：

若檢測到當前待導出數據表中的全部數據單元在HDFS的數據節點都存儲有完整的副本，則直接對所述數據表中的數據單元進行導出；

若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量超過預設的第二閾值，則針對每一個服務單元，在數據導出過程中，從其他主機上部署的HDFS的數據節點獲取待導出的不完整數據；

若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量低于預設的第二閾值，則針對每一個服務單元，在數據導出之前，從其他主機上部署的HDFS的數據節點中獲取待導出的數據將本地存儲的副本補充完整；

其中，所述第二閾值為全部數據單元數量的80％。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述數據導出任務分配裝置檢測每一數據導出節點裝置管理的待導出數據單元是否導出完畢；

若是，則所述數據導出任務分配裝置判定所述待導出數據表中的全部數據導出完畢。

3.一種數據全量導出方法，其特征在于，包括：

數據導出節點裝置接收數據導出任務分配裝置分配的數據單元導出任務，所述數據單元導出任務對應的數據單元由管理所述數據單元的服務單元所在的主機上部署的數據導出節點裝置管理；

數據導出節點裝置根據所述數據單元導出任務，調用服務單元從其自身所在的主機上配置的HDFS的數據節點獲取當前待導出的數據單元的副本，且所述數據節點存儲有所述服務單元管理的全部數據單元的副本；

數據導出節點裝置根據所述服務單元管理的各個數據單元的權重，將所述數據單元的副本平均分配至各線程池中進行數據導出，其中各個線程池中進行數據導出的數據單元的加權和相同；

所述方法，還包括：

數據導出節點裝置通過預設的篩選條件對待導出數據單元的副本進行篩選；所述篩選包括刪除所述待導出數據單元的副本中的重復數據；

所述方法還包括：

數據導出節點裝置調用服務單元檢測當前待導出數據表中的全部數據單元在HDFS的數據節點存儲的副本的完整度；

根據所述副本的不同完整度，采用不同的數據導出方式；

所述數據導出方式，包括以下至少一種：

若檢測到當前待導出數據表中的全部數據單元在HDFS的數據節點都存儲有完整的副本，則直接對所述數據表中的數據單元進行導出；

若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量超過預設的第二閾值，則針對每一個服務單元，在數據導出過程中，從其他主機上部署的HDFS的數據節點獲取待導出的不完整數據；

若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量低于預設的第二閾值，則針對每一個服務單元，在數據導出之前，從其他主機上部署的HDFS的數據節點中獲取待導出的數據將本地存儲的副本補充完整；

其中，所述第二閾值為全部數據單元數量的80％。

4.根據權利要求3所述的方法，其特征在于，所述數據導出節點裝置通過預設的篩選條件對待導出數據單元的副本進行篩選之后，還包括：

數據導出節點裝置將導出的所述數據單元的副本存儲至預設的存儲路徑。