[發明專利]一種數據批處理方法、裝置及系統

在審

• 申請號: 201810555232.1
• 申請日: 2018-06-01
• 公開（公告）號: CN108829790A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 季榮姿
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

1.一種數據批處理方法，所述方法包括：

對批處理任務進行拆分獲得子任務；

生成所述子任務的標識碼，所述標識碼包括第一標識字段以及第二標識字段，所述第一標識字段用于標識所述子任務，所述第二標識字段根據所述第一標識字段加附加字段確定，用于標識所述子任務中的數據；

根據所述第二標識字段撈取對應的第一標識字段標識的子任務中的數據。

2.根據權利要求1所述的數據批處理方法，所述生成所述子任務的標識碼，包括：

獲取批處理任務中數據記錄對應的數據識別碼；

讀取所述數據識別碼中指定字段位置處的數據，根據讀取的數據確定所述第一標識字段以及第二標識字段。

3.根據權利要求1所述的數據批處理方法，所述第二標識字段根據所述第一標識字段加附加字段確定，包括：

根據預設并發數確定附加字段的長度；

根據所述附加字段的長度以及第一標識字段的長度確定所述第二標識字段的長度；

根據所述第二標識字段的長度以及所述第一標識字段確定所述第二標識字段。

4.根據權利要求1所述的數據批處理方法，所述根據所述第二標識字段撈取對應的第一標識字段標識的子任務中的數據，包括：

根據所述第二標識字段確定撈取索引字段；

根據所述撈取索引字段撈取所述第一標識字段標識的子任務中的數據，獲得第二標識字段對應的數據。

5.一種計算資產收益的數據批處理方法，所述方法包括：

對資產收益批處理任務進行拆分獲得分表；

生成所述分表的標識碼，所述標識碼包括第一標識字段以及第二標識字段，所述第一標識字段用于標識所述分表，所述第二標識字段根據所述第一標識字段加附加字段確定，用于標識所述分表中的資產數據；

根據所述第二標識字段撈取對應的第一標識字段標識的分表中的資產數據；

將撈取的資產數據分發到計算機集群中進行收益計算。

6.一種計算資產收益的數據批處理裝置，所述裝置包括：

資產任務拆分模塊，用于對資產收益批處理任務進行拆分獲得分表；

分表標識碼生成模塊，用于生成所述分表的標識碼，所述標識碼包括第一標識字段以及第二標識字段，所述第一標識字段用于標識所述分表，所述第二標識字段根據所述第一標識字段加附加字段確定，用于標識所述分表中的資產數據；

資產數據撈取模塊，用于根據所述第二標識字段撈取對應的第一標識字段標識的分表中的資產數據；

收益計算模塊，用于將撈取的資產數據分發到計算機集群中進行收益計算。

7.一種數據批處理裝置，所述裝置包括：

拆分模塊，用于對批處理任務進行拆分獲得子任務；

標識碼生成模塊，用于生成所述子任務的標識碼，所述標識碼包括第一標識字段以及第二標識字段，所述第一標識字段用于標識所述子任務，所述第二標識字段根據所述第一標識字段加附加字段確定，用于標識所述子任務中的數據；

撈取模塊，用于根據所述第二標識字段撈取對應的第一標識字段標識的子任務中的數據。

8.一種數據批處理設備，包括處理器及用于存儲處理器可執行指令的存儲器，所述指令被所述處理器執行時實現包括以下步驟：

對批處理任務進行拆分獲得子任務；

生成所述子任務的標識碼，所述標識碼包括第一標識字段以及第二標識字段，所述第一標識字段用于標識所述子任務，所述第二標識字段根據所述第一標識字段加附加字段確定，用于標識所述子任務中的數據；

根據所述第二標識字段撈取對應的第一標識字段標識的子任務中的數據。