[發(fā)明專利]基于求余的數(shù)據(jù)抽取的方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610357682.0
• 申請(qǐng)日: 2016-05-26
• 公開（公告）號(hào): CN107436883B
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 張寧;劉業(yè)輝;王彥明;楊欽龍
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;姜?jiǎng)?/td>

1.一種基于求余的數(shù)據(jù)抽取的方法，其特征在于，包括：

在數(shù)據(jù)倉(cāng)庫(kù)中創(chuàng)建目標(biāo)表；

根據(jù)需要抽取的數(shù)據(jù)總量、抽取完成的目標(biāo)時(shí)間以及單位時(shí)間內(nèi)抽取的數(shù)據(jù)量，確定分段個(gè)數(shù)；根據(jù)所述分段個(gè)數(shù)設(shè)置抽數(shù)任務(wù)，然后以求余的方式為所述抽數(shù)任務(wù)配置抽數(shù)模板；

根據(jù)所述抽數(shù)模板并行地執(zhí)行抽數(shù)任務(wù)，以抽取分段數(shù)據(jù)；

將所述分段數(shù)據(jù)合并至目標(biāo)表。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述抽數(shù)模板中包括如下信息：來(lái)源庫(kù)庫(kù)名、IP地址、來(lái)源表表名、抽取SQL、抽取條件、目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)以及目標(biāo)表表名，其中，所述抽取條件包括針對(duì)所述抽數(shù)模板利用所述分段個(gè)數(shù)對(duì)主鍵進(jìn)行求余的結(jié)果，用于確定根據(jù)所述抽數(shù)模板而抽取的分段數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

所述數(shù)據(jù)倉(cāng)庫(kù)基于Hadoop實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)；以及

利用Hadoop命令將所述分段數(shù)據(jù)合并至目標(biāo)表。

4.一種基于求余的數(shù)據(jù)抽取的裝置，其特征在于，包括：

創(chuàng)建模塊，用于在數(shù)據(jù)倉(cāng)庫(kù)中創(chuàng)建目標(biāo)表；

配置模塊，用于根據(jù)需要抽取的數(shù)據(jù)總量、抽取完成的目標(biāo)時(shí)間以及單位時(shí)間內(nèi)抽取的數(shù)據(jù)量，確定分段個(gè)數(shù)；根據(jù)所述分段個(gè)數(shù)設(shè)置抽數(shù)任務(wù)，然后以求余的方式為所述抽數(shù)任務(wù)配置抽數(shù)模板；

抽取模塊，用于根據(jù)所述抽數(shù)模板并行地執(zhí)行抽數(shù)任務(wù)，以抽取分段數(shù)據(jù)；

合并模塊，用于將所述分段數(shù)據(jù)合并至目標(biāo)表。

5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述抽數(shù)模板中包括如下信息：來(lái)源庫(kù)庫(kù)名、IP地址、來(lái)源表表名、抽取SQL、抽取條件、目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)以及目標(biāo)表表名，其中，所述抽取條件包括針對(duì)所述抽數(shù)模板利用所述分段個(gè)數(shù)對(duì)主鍵進(jìn)行求余的結(jié)果，用于確定根據(jù)所述抽數(shù)模板而抽取的分段數(shù)據(jù)。

6.根據(jù)權(quán)利要求4所述的裝置，其特征在于，

所述數(shù)據(jù)倉(cāng)庫(kù)基于Hadoop實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)；以及

所述合并模塊利用Hadoop命令將所述分段數(shù)據(jù)合并至目標(biāo)表。

7.一種基于求余的數(shù)據(jù)抽取的系統(tǒng)，其特征在于，包括：

存儲(chǔ)器和處理器，其中，

所述存儲(chǔ)器存儲(chǔ)指令；

所述處理器被配置為根據(jù)所述指令執(zhí)行以下步驟：

在數(shù)據(jù)倉(cāng)庫(kù)中創(chuàng)建目標(biāo)表；

根據(jù)需要抽取的數(shù)據(jù)總量、抽取完成的目標(biāo)時(shí)間以及單位時(shí)間內(nèi)抽取的數(shù)據(jù)量，確定分段個(gè)數(shù)；根據(jù)所述分段個(gè)數(shù)設(shè)置抽數(shù)任務(wù)，然后以求余的方式為所述抽數(shù)任務(wù)配置抽數(shù)模板；

根據(jù)所述抽數(shù)模板并行地執(zhí)行抽數(shù)任務(wù)，以抽取分段數(shù)據(jù)；

將所述分段數(shù)據(jù)合并至目標(biāo)表。

8.一種電子設(shè)備，其特征在于，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-3中任一所述的方法。

9.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-3中任一所述的方法。