[發明專利]一種數據批量處理的方法和裝置

有效

• 申請號: 201310016209.2
• 申請日: 2013-01-16
• 公開（公告）號: CN103927314B
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 張濤;唐凱
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 許志勇

技術領域

本申請涉及計算機數據處理領域，尤其涉及一種數據批量處理的方法和裝置。

背景技術

在計算機領域中，為了處理大批量的數據，產生了數據批量處理任務，即，在計算機上預先設置程序或者命令，執行系列程序的作業。利用數據批量處理，能夠很好的利用計算機資源，減少了計算開銷，并且不需要時刻有人工監事和干預，從而降低了人工開銷。依靠上述優點，數據批量處理在計算機領域中得到了廣泛的應用。

在現有技術中，常用的數據批量處理，基本上是針對某一業務特性或者某一處理特性通過系統編碼進行系統設計和研發，并逐個實現批量處理。如需要實現不同賬戶之間的數據轉移匯總，則對一批轉出賬戶相同、轉入賬戶相同、業務相同的數據進行一次賬戶數據批量轉移；又如需要對用戶繳費數據進行批量匯總，則要對轉出賬戶相同、業務相同的數據進行一次用戶繳費數據批量匯總；再如賬戶數據批量轉移處理需要在指定時間執行，則通常需要啟動一個定時任務，在指定時間觸發這個操作，執行賬戶數據批量轉移。

在實際的數據批量處理中，隨著業務類型和需求不斷擴大，需求場景多變，匯總數據類型多變，匯總類型更加多樣化，而且匯總執行的時間點多變且不盡相同，使用上述處理方式來支撐多種業務、多種方式匯總，導致系統越來越龐大，維護難度越來越大。

所以需要提供一套標準化的數據批量處理系統結構，使不同業務類型、不同處理時間的數據通過該系統結構快捷的進行數據批量處理，節約計算機資源和人工成本。

發明內容

鑒于上述問題，本申請的主要目的在于提供一種數量批量處理的方法和裝置，以解決現有數據批量處理技術，在支撐多業務、多方式批量處理時導致系統難管理、難維護的問題。

為了解決上述技術問題，本申請的目的是通過以下技術方案實現的：

本申請公開了一種數據批量處理的方法，包括以下步驟：接收多個用戶請求數據并確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。

優選的，在根據本申請所述的方法中，所述在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻還包括：基于所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件；以及設置所述匯總維度并設置所述可執行時刻。

優選的，在根據本申請所述的方法中，所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及所述解析每一個所述數據匯總模板中的配置文件包括：解析所述匯總維度的描述方式和所述可執行時刻的描述方式。

優選的，在根據本申請所述的方法中，所述當多個所述匯總維度相同時批量處理多個用戶請求數據還包括：在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，并批量處理多個用戶請求數據。

優選的，在根據本申請所述的方法中，所述組裝成一個或多個匯總批次還包括：基于預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次；其中，如果用戶請求數據的數量大于所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，并對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及如果用戶請求數據的數量小于或者等于處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。

優選的，在根據本申請所述的方法中，所述批量處理多個用戶請求數據還包括：在可執行時刻，調用數據庫中的數據操作項，并依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。

優選的，根據本申請所述的方法還可以包括：在所述數據操作項中，至少包括如下操作項信息：所述匯總維度、所述可執行時刻、所述匯總批次序號。

優選的，在根據本申請所述的方法中，所述批量處理多個用戶請求數據還包括同步地調用數據匯總插件。

本申請還公開了一種數據批量處理的裝置，包括：接收與選擇模塊，用于接收多個用戶請求數據并確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；配置模塊，用于在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及執行模塊，用于當多個匯總維度相同時，批量處理所述多個用戶請求數據。

優選的，根據所述的裝置所述配置模塊，還可以包括：解析模塊，用于基于所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件；以及設置模塊，設置所述匯總維度并設置所述可執行時刻。