[發(fā)明專(zhuān)利]一種實(shí)現(xiàn)批量數(shù)據(jù)處理的方法、系統(tǒng)和計(jì)算機(jī)集群

有效

• 申請(qǐng)?zhí)枺?/td>: 201610195313.6
• 申請(qǐng)日: 2016-03-30
• 公開(kāi)（公告）號(hào): CN107291720B
• 公開(kāi)（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 屈晉宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F16/27
• 分類(lèi)號(hào): G06F16/27;G06Q40/02
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 黃熊

本申請(qǐng)實(shí)施例公開(kāi)了一種實(shí)現(xiàn)批量數(shù)據(jù)處理的方法、系統(tǒng)和計(jì)算機(jī)集群。所述方法包括：基于海量數(shù)據(jù)的原始數(shù)據(jù)表中至少兩個(gè)不相關(guān)的維度建立處理任務(wù)表；撈取所述處理任務(wù)表中的待處理任務(wù)；處理所述撈取到的待處理任務(wù)所對(duì)應(yīng)的原始數(shù)據(jù)表中的數(shù)據(jù)。利用本申請(qǐng)實(shí)施例，可以實(shí)現(xiàn)批量數(shù)據(jù)處理過(guò)程的精細(xì)化管理和控制。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)批量數(shù)據(jù)處理的方法、系統(tǒng)和計(jì)算機(jī)集群。

背景技術(shù)

大型系統(tǒng)中產(chǎn)生海量的數(shù)據(jù)，往往需要根據(jù)業(yè)務(wù)需求或系統(tǒng)需要對(duì)這些海量數(shù)據(jù)進(jìn)行批量處理。例如，目前互聯(lián)網(wǎng)交易平臺(tái)每天產(chǎn)生的業(yè)務(wù)流水量達(dá)上億級(jí)。出于業(yè)務(wù)需要，要對(duì)這些業(yè)務(wù)流水中的數(shù)據(jù)進(jìn)行處理。例如對(duì)于互聯(lián)網(wǎng)交易平臺(tái)中的對(duì)賬系統(tǒng)，其是提供第三方支付備付金賬戶(hù)與對(duì)應(yīng)實(shí)際銀行賬戶(hù)對(duì)賬能力的核心系統(tǒng)，主要能力之一是核對(duì)入賬流水和清算流水。所述入賬流水包括第三方支付公司業(yè)務(wù)產(chǎn)生資金流水。所述清算流水包括銀行或清算機(jī)構(gòu)產(chǎn)生的業(yè)務(wù)單據(jù)資金流水。

如前述例子，對(duì)賬系統(tǒng)需要將大量三方支付流水(入賬流水)和對(duì)應(yīng)的銀行交易流水(清算流水)進(jìn)行資金核對(duì)。現(xiàn)有技術(shù)中，這些流水按照銀行一般分布在n張表中，例如按照涉及的銀行分布在不同的表中：

表1

賬號(hào)	銀行	業(yè)務(wù)維度1	業(yè)務(wù)維度2	…	…	…	…	…	…
A0001	銀行1
A0002	銀行1
…	…