[發明專利]數據全量導出方法、數據導出任務分配裝置及數據導出節點裝置有效
| 申請號: | 201711395359.3 | 申請日: | 2017-12-21 |
| 公開(公告)號: | CN108228752B | 公開(公告)日: | 2022-04-15 |
| 發明(設計)人: | 牛龍飛;陳斌;周一峰 | 申請(專利權)人: | 中國聯合網絡通信集團有限公司 |
| 主分類號: | G06F16/25 | 分類號: | G06F16/25;G06F16/27 |
| 代理公司: | 北京同立鈞成知識產權代理有限公司 11205 | 代理人: | 楊澤;劉芳 |
| 地址: | 100033 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據 導出 方法 任務 分配 裝置 節點 | ||
1.一種數據全量導出方法,其特征在于,包括:
數據導出任務分配裝置針對待導出數據表中的每一數據單元,分析管理所述數據單元的服務單元,其中,所述待導出數據表中包括至少一個數據單元;
所述數據導出任務分配裝置將所述待導出數據表中的每一數據單元導出任務分別分配至管理所述數據單元的服務單元所在的主機,以使所述主機上部署的數據導出節點裝置根據其管理的各個數據單元的權重,將所述數據單元平均分配至各個線程池中進行數據導出,其中各個所述線程池中進行數據導出的所述數據單元的加權和相同;所述數據導出任務分配裝置導出的所述數據單元為通過預設的篩選條件篩選后的所述數據導出單元;所述數據導出任務分配裝置根據服務單元檢測當前數據單元在HDFS的數據節點存儲的副本后確定的完整度確定導出的所述數據單元的數據導出方式;
其中,所述篩選包括刪除所述數據單元中的重復數據;
其中,所述數據導出方式包括以下至少一種:
若檢測到當前待導出數據表中的全部數據單元在HDFS的數據節點都存儲有完整的副本,則直接對所述數據表中的數據單元進行導出;
若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量超過預設的第二閾值,則針對每一個服務單元,在數據導出過程中,從其他主機上部署的HDFS的數據節點獲取待導出的不完整數據;
若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量低于預設的第二閾值,則針對每一個服務單元,在數據導出之前,從其他主機上部署的HDFS的數據節點中獲取待導出的數據將本地存儲的副本補充完整;
其中,所述第二閾值為全部數據單元數量的80%。
2.根據權利要求1所述的方法,其特征在于,所述方法還包括:
所述數據導出任務分配裝置檢測每一數據導出節點裝置管理的待導出數據單元是否導出完畢;
若是,則所述數據導出任務分配裝置判定所述待導出數據表中的全部數據導出完畢。
3.一種數據全量導出方法,其特征在于,包括:
數據導出節點裝置接收數據導出任務分配裝置分配的數據單元導出任務,所述數據單元導出任務對應的數據單元由管理所述數據單元的服務單元所在的主機上部署的數據導出節點裝置管理;
數據導出節點裝置根據所述數據單元導出任務,調用服務單元從其自身所在的主機上配置的HDFS的數據節點獲取當前待導出的數據單元的副本,且所述數據節點存儲有所述服務單元管理的全部數據單元的副本;
數據導出節點裝置根據所述服務單元管理的各個數據單元的權重,將所述數據單元的副本平均分配至各線程池中進行數據導出,其中各個線程池中進行數據導出的數據單元的加權和相同;
所述方法,還包括:
數據導出節點裝置通過預設的篩選條件對待導出數據單元的副本進行篩選;所述篩選包括刪除所述待導出數據單元的副本中的重復數據;
所述方法還包括:
數據導出節點裝置調用服務單元檢測當前待導出數據表中的全部數據單元在HDFS的數據節點存儲的副本的完整度;
根據所述副本的不同完整度,采用不同的數據導出方式;
所述數據導出方式,包括以下至少一種:
若檢測到當前待導出數據表中的全部數據單元在HDFS的數據節點都存儲有完整的副本,則直接對所述數據表中的數據單元進行導出;
若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量超過預設的第二閾值,則針對每一個服務單元,在數據導出過程中,從其他主機上部署的HDFS的數據節點獲取待導出的不完整數據;
若檢測到當前待導出數據表在HDFS的數據節點存儲的副本的完整度低于預設的第一閾值的數據單元數量低于預設的第二閾值,則針對每一個服務單元,在數據導出之前,從其他主機上部署的HDFS的數據節點中獲取待導出的數據將本地存儲的副本補充完整;
其中,所述第二閾值為全部數據單元數量的80%。
4.根據權利要求3所述的方法,其特征在于,所述數據導出節點裝置通過預設的篩選條件對待導出數據單元的副本進行篩選之后,還包括:
數據導出節點裝置將導出的所述數據單元的副本存儲至預設的存儲路徑。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中國聯合網絡通信集團有限公司,未經中國聯合網絡通信集團有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201711395359.3/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





