[發明專利]一種實時任務處理方法及裝置

有效

• 申請號: 201710210712.X
• 申請日: 2017-03-31
• 公開（公告）號: CN107168681B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 孫琦
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例公開了一種實時任務處理方法及裝置，所述實時任務處理方法包括：在流式處理任務當前執行聚合函數時，加載已存儲的所述流式處理任務執行的所述聚合函數的封裝數據包，其中，所述封裝數據包包括：所述流式處理任務的所述聚合函數的操作對象、所述操作對象的函數關系；根據所述聚合函數以及所述封裝數據包，對所述聚合函數的所述操作對象的當前數值，按照所述操作對象的函數關系、執行所述聚合函數操作。本發明實施例實現了對實時數據處理過程的狀態管理，并方便地進行更新操作，降低系統處理的時間以及開發者的工作量，提高實時任務的開發效率。

技術領域

本發明涉及大數據處理技術領域，特別是涉及一種實時任務處理方法及裝置。

背景技術

隨著互聯網產業的繁榮，尤其是移動互聯網的持續興起，機器、用戶產生的數據越來越多，同時也催生了各類大數據處理系統，例如Hadoop、Spark、Storm等。這些系統有些是針對批處理任務的批處理引擎，例如Hadoop MapReduce，有些是針對流式數據處理的實時處理引擎，例如Storm，也有些系統能同時實現批處理任務和流式數據處理的實時處理任務，例如Spark。

批處理的大數據處理系統是在開始計算的時候，所有的數據就已經準備好了，等待輸入計算；而流式數據處理引擎，數據并非一開始就完全準備好了，而是隨著時間的推移，逐漸出現，像用戶的行為日志，其特點是像流水一樣，不是一次過來，而是一點一點“流”過來。而“流”過來的數據也是一點一點被實時處理系統處理。兩種類型任務的主要區別是：批處理任務具有全局數據，很方便進行數據的聚合操作；而流式數據的實時處理不具備全局數據，處于聚合的中間狀態。現有流式數據處理的實時處理引擎，在流式任務實時處理時，對于相同操作的不同時間或者不同狀態的處理過程以及函數邏輯關系，需要開發者實時重新編寫。比如一個日志流中的錯誤數，一段時間內錯誤數是一個不斷累加的數字，需要臨時存放在外部存儲數據庫中，像MySQL、Redis等。在第一次統計一段時間內錯誤數時，開發者編寫相關操作的邏輯函數以及與數據庫連接的程序，利用該程序統計外部存儲系統存儲的當前時間內錯誤數，在下一次統計一段時間內錯誤數時，開發者需要重新編寫相關操作的邏輯函數以及與數據庫連接的程序，利用該程序再次統計外部存儲系統存儲的當前時間內錯誤數。

現有的流式任務實時處理的方法，對于相同或相似邏輯關系操作的不同時間或者不同狀態的處理過程，增加了系統處理的時間以及增加了開發者的工作量，整體開發效率不高。

發明內容

本發明實施例的目的在于提供一種實時任務處理方法及裝置，以實現提供對實時數據處理過程的狀態管理，并方便地進行更新操作，降低系統處理的時間以及開發者的工作量，提高實時任務的開發效率。具體技術方案如下：

為達到上述發明目的，本發明實施例公開了一種實時任務處理方法，包括：

在流式處理任務當前執行聚合函數時，加載已存儲的所述流式處理任務執行的所述聚合函數的封裝數據包，其中，所述封裝數據包包括：所述流式處理任務的所述聚合函數的操作對象、所述操作對象的函數關系；

根據所述聚合函數以及所述封裝數據包，對所述聚合函數的所述操作對象的當前數值，按照所述操作對象的函數關系、執行所述聚合函數操作。

可選地，在所述在流式處理任務當前執行聚合函數時，加載所述流式處理任務執行的所述聚合函數的封裝數據包之前，所述方法還包括：

在所述流式處理任務首次執行所述聚合函數時，對所述聚合函數的所述操作對象的數值，按照所述操作對象的函數關系、執行所述流式處理任務的所述聚合函數操作；

在所述流式處理任務首次執行所述聚合函數結束時，將所述流式處理任務執行的所述聚合函數的所述操作對象、所述操作對象的函數關系，封裝在所述封裝數據包中；

存儲所述封裝數據包。