[發明專利]一種數據批量處理的方法和裝置

有效

• 申請號: 201310016209.2
• 申請日: 2013-01-16
• 公開（公告）號: CN103927314B
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 張濤;唐凱
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 許志勇

1.一種數據批量處理的方法，其特征在于，包括：

接收多個用戶請求數據并確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；

在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻，其中，所述匯總維度為由匯總條件組成的字段；以及

當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。

2.根據權利要求1所述的方法，其特征在于，所述在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻的還包括：

基于所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件，并設置所述匯總維度并設置所述可執行時刻。

3.根據權利要求2所述的方法，其特征在于：所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及

所述解析每一個所述數據匯總模板中的配置文件包括：解析所述匯總維度的描述方式和所述可執行時刻的描述方式；

所述設置所述匯總維度并設置所述可執行時刻包括：根據所述匯總維度的描述方式設置所述匯總維度，根據所述可執行時刻的描述方式設置可執行時刻。

4.根據權利要求1所述的方法，其特征在于，所述當多個所述匯總維度相同時，批量處理多個用戶請求數據還包括：

在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，并批量處理多個用戶請求數據。

5.根據權利要求4所述的方法，其特征在于，所述組裝成一個或多個匯總批次還包括：基于預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次；其中，

如果用戶請求數據的數量大于所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，并對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及

如果用戶請求數據的數量小于或者等于處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。

6.根據權利要求1所述的方法，其特征在于，所述批量處理多個用戶請求數據還包括：

在可執行時刻，調用數據庫中的數據操作項，并依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。

7.根據權利要求6所述的方法，其特征在于，還包括：

在所述數據操作項中，至少包括如下操作項信息：所述匯總維度、所述可執行時刻、所述匯總批次序號。

8.根據權利要求1所述的方法，其特征在于，所述批量處理多個用戶請求數據還包括同步地調用數據匯總插件。

9.一種數據批量處理的裝置，包括：

接收與選擇模塊，用于接收多個用戶請求數據并確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；

配置模塊，用于在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻，其中，所述匯總維度為由匯總條件組成的字段；以及

執行模塊，用于當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。

10.根據權利要求9所述的裝置，其特征在于，所述配置模塊還包括：

基于所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件，并設置所述匯總維度并設置所述可執行時刻。

11.根據權利要求10所述的裝置，其特征在于：所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及

配置模塊還包括解析模塊：用于解析所述匯總維度的描述方式和所述可執行時刻的描述方式；

配置模塊還包括設置模塊：用于根據所述匯總維度的描述方式設置所述匯總維度，根據所述可執行時刻的描述方式設置可執行時刻。

12.根據權利要求9所述的裝置，其特征在于，所述執行模塊還包括：

在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，并批量處理多個用戶請求數據。