[發(fā)明專利]一種數(shù)據(jù)批處理方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810555232.1
• 申請日: 2018-06-01
• 公開（公告）號: CN108829790A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計）人: 季榮姿
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

1.一種數(shù)據(jù)批處理方法，所述方法包括：

對批處理任務(wù)進行拆分獲得子任務(wù)；

生成所述子任務(wù)的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述子任務(wù)，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述子任務(wù)中的數(shù)據(jù)；

根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)批處理方法，所述生成所述子任務(wù)的標(biāo)識碼，包括：

獲取批處理任務(wù)中數(shù)據(jù)記錄對應(yīng)的數(shù)據(jù)識別碼；

讀取所述數(shù)據(jù)識別碼中指定字段位置處的數(shù)據(jù)，根據(jù)讀取的數(shù)據(jù)確定所述第一標(biāo)識字段以及第二標(biāo)識字段。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)批處理方法，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，包括：

根據(jù)預(yù)設(shè)并發(fā)數(shù)確定附加字段的長度；

根據(jù)所述附加字段的長度以及第一標(biāo)識字段的長度確定所述第二標(biāo)識字段的長度；

根據(jù)所述第二標(biāo)識字段的長度以及所述第一標(biāo)識字段確定所述第二標(biāo)識字段。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)批處理方法，所述根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)，包括：

根據(jù)所述第二標(biāo)識字段確定撈取索引字段；

根據(jù)所述撈取索引字段撈取所述第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)，獲得第二標(biāo)識字段對應(yīng)的數(shù)據(jù)。

5.一種計算資產(chǎn)收益的數(shù)據(jù)批處理方法，所述方法包括：

對資產(chǎn)收益批處理任務(wù)進行拆分獲得分表；

生成所述分表的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述分表，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述分表中的資產(chǎn)數(shù)據(jù)；

根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的分表中的資產(chǎn)數(shù)據(jù)；

將撈取的資產(chǎn)數(shù)據(jù)分發(fā)到計算機集群中進行收益計算。

6.一種計算資產(chǎn)收益的數(shù)據(jù)批處理裝置，所述裝置包括：

資產(chǎn)任務(wù)拆分模塊，用于對資產(chǎn)收益批處理任務(wù)進行拆分獲得分表；

分表標(biāo)識碼生成模塊，用于生成所述分表的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述分表，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述分表中的資產(chǎn)數(shù)據(jù)；

資產(chǎn)數(shù)據(jù)撈取模塊，用于根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的分表中的資產(chǎn)數(shù)據(jù)；

收益計算模塊，用于將撈取的資產(chǎn)數(shù)據(jù)分發(fā)到計算機集群中進行收益計算。

7.一種數(shù)據(jù)批處理裝置，所述裝置包括：

拆分模塊，用于對批處理任務(wù)進行拆分獲得子任務(wù)；

標(biāo)識碼生成模塊，用于生成所述子任務(wù)的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述子任務(wù)，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述子任務(wù)中的數(shù)據(jù)；

撈取模塊，用于根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)。

8.一種數(shù)據(jù)批處理設(shè)備，包括處理器及用于存儲處理器可執(zhí)行指令的存儲器，所述指令被所述處理器執(zhí)行時實現(xiàn)包括以下步驟：

對批處理任務(wù)進行拆分獲得子任務(wù)；

生成所述子任務(wù)的標(biāo)識碼，所述標(biāo)識碼包括第一標(biāo)識字段以及第二標(biāo)識字段，所述第一標(biāo)識字段用于標(biāo)識所述子任務(wù)，所述第二標(biāo)識字段根據(jù)所述第一標(biāo)識字段加附加字段確定，用于標(biāo)識所述子任務(wù)中的數(shù)據(jù)；

根據(jù)所述第二標(biāo)識字段撈取對應(yīng)的第一標(biāo)識字段標(biāo)識的子任務(wù)中的數(shù)據(jù)。