[發(fā)明專利]一種數(shù)據(jù)批處理方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810555232.1
• 申請日: 2018-06-01
• 公開（公告）號: CN108829790A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計）人: 季榮姿
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

本說明書實施例公開了一種數(shù)據(jù)批處理方法、裝置及系統(tǒng)，所述方法包括對批處理任務(wù)進(jìn)行拆分獲得子任務(wù)；生成所述子任務(wù)的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述子任務(wù)，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述子任務(wù)中的數(shù)據(jù)；根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)。利用本說明書各個實施例提供的方案，可以在保證數(shù)據(jù)庫性能的基礎(chǔ)上提高數(shù)據(jù)批處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及地球物理勘探技術(shù)領(lǐng)域，特別地，涉及一種數(shù)據(jù)批處理方法、裝置及系統(tǒng)。

背景技術(shù)

通常應(yīng)用中存在一些需對過去一段時間內(nèi)發(fā)生的業(yè)務(wù)進(jìn)行集中批量處理的任務(wù)，目前應(yīng)用如果想提高數(shù)據(jù)批處理的處理效率，通常是通過提高每次撈取出來的userId(user Identity，用戶識別號碼)列表數(shù)量、或者更改CRON(Command Run On，指揮調(diào)度運(yùn)行)表達(dá)式提高任務(wù)執(zhí)行的頻率來實現(xiàn)。這些方案存在的缺點是數(shù)據(jù)表中的記錄數(shù)往往是海量的，單次撈取的userId列表數(shù)量增加會導(dǎo)致?lián)迫‰A段的性能下降，從而影響數(shù)據(jù)庫的性能。而更改CRON表達(dá)式時如果任務(wù)執(zhí)行頻率調(diào)節(jié)不當(dāng)，可能還會存在正在被處理的userId被下一次任務(wù)重復(fù)撈取出來，從而產(chǎn)生數(shù)據(jù)鎖沖突，引發(fā)數(shù)據(jù)庫性能下降。

因此，目前急需一種可以保證數(shù)據(jù)庫性能的基礎(chǔ)上提高數(shù)據(jù)批處理效率的方案。

發(fā)明內(nèi)容

本說明書實施例的目的在于提供一種數(shù)據(jù)批處理方法、裝置及系統(tǒng)，可以在保證數(shù)據(jù)庫性能的基礎(chǔ)上提高數(shù)據(jù)批處理的效率。

本說明書實施例是這樣實現(xiàn)的：

一種數(shù)據(jù)批處理方法，所述方法包括：

對批處理任務(wù)進(jìn)行拆分獲得子任務(wù)；

生成所述子任務(wù)的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述子任務(wù)，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述子任務(wù)中的數(shù)據(jù)；

根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)。

一種計算資產(chǎn)收益的數(shù)據(jù)批處理方法，所述方法包括：

對資產(chǎn)收益批處理任務(wù)進(jìn)行拆分獲得分表；

生成所述分表的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述分表，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述分表中的資產(chǎn)數(shù)據(jù)；

根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的分表中的資產(chǎn)數(shù)據(jù)；

將撈取的資產(chǎn)數(shù)據(jù)分發(fā)到計算機(jī)集群中進(jìn)行收益計算。

一種計算資產(chǎn)收益的數(shù)據(jù)批處理裝置，所述裝置包括：

資產(chǎn)任務(wù)拆分模塊，用于對資產(chǎn)收益批處理任務(wù)進(jìn)行拆分獲得分表；

分表標(biāo)識碼生成模塊，用于生成所述分表的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述分表，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述分表中的資產(chǎn)數(shù)據(jù)；

資產(chǎn)數(shù)據(jù)撈取模塊，用于根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的分表中的資產(chǎn)數(shù)據(jù)；

收益計算模塊，用于將撈取的資產(chǎn)數(shù)據(jù)分發(fā)到計算機(jī)集群中進(jìn)行收益計算。

一種數(shù)據(jù)批處理裝置，所述裝置包括：

拆分模塊，用于對批處理任務(wù)進(jìn)行拆分獲得子任務(wù)；