[發明專利]用于實時數據處理的方法和設備

有效

• 申請號: 201110429998.3
• 申請日: 2011-12-16
• 公開（公告）號: CN103164189A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 楊子夜;陳繼東;陳弢;向東
• 申請（專利權）人: 伊姆西公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;李崢宇

技術領域

本發明的各實施方式涉及數據處理，更具體地，涉及針對數據進行實時處理的方法、設備和相關計算機程序產品。

背景技術

隨著計算機硬件和軟件技術的發展，現有應用能夠提供越來越強的數據處理能力。例如，可以將眾多的計算設備以集群方式部署，并且集群中的多個計算設備可以并行地進行數據處理。對于向該集群提交數據處理請求的用戶而言，他們/她們并不關心是哪個計算設備正在處理自己的請求，而是通常更關心數據處理需要占用多長時間。對于海量數據處理(尤其是對于實時性要求較高的數據處理)，如何提高數據處理效率并盡快向用戶返回處理結果成為評價數據處理平臺性能的一項關鍵因素。

目前已經開發出可以由集群中的多個計算設備對數據進行并行處理的技術方案，這在一定程度上提高了數據處理效率。然而，當面臨需要實時處理的海量數據時(例如，對于股票市場中實時交易數據進行分析)，現有的并行處理方案不能滿足需求。由于數據處理能力的限制而不能實時地分析和處理各種數據，進而導致無法進行其他后續的處理操作。

發明內容

因此，面對現有的并行處理方案無法實時有效地處理數據的缺陷，如何在盡量不增加現有硬件投入的前提下實現實時并高效的數據處理成為一項亟待解決的問題。為此，本發明的各實施方式提供了用于實時數據處理的方法、裝置和相關計算機程序產品。

根據本發明的一個實施方式，提供了一種用于實時數據處理的方法。該方法包括：響應于接收到多個作業(job)，分析多個作業之間的約束關系以獲取流水線(pipeline)信息；讀取至少一部分待處理數據；以及基于流水線信息并針對待處理數據執行多個作業以生成至少一部分處理結果。

根據本發明的一個實施方式，其中流水線信息包括以下至少一個：多個作業中的各任務的依賴序列、所需的計算資源、估計執行時間。

根據本發明的一個實施方式，其中多個作業中的每個作業包括多個任務，以及基于流水線信息、針對待處理數據執行多個作業以生成至少一部分處理結果包括：基于流水線信息，將多個作業中的各任務劃分為多個有序分組，其中在前后相繼的兩個分組中，后一分組的執行依賴于前一分組的輸出。

根據本發明的一個實施方式，提供了一種用于實時數據處理的裝置。該裝置包括：用于響應于接收到多個作業、分析多個作業之間的約束關系以獲取流水線信息的裝置；用于讀取至少一部分待處理數據的裝置；以及用于基于流水線信息并針對待處理數據執行多個作業以生成至少一部分處理結果的裝置。

根據本發明的一個實施方式，其中流水線信息包括以下至少一個：多個作業中的各任務的依賴序列、所需的計算資源、估計執行時間。

根據本發明的一個實施方式，其中多個作業中的每個作業包括多個任務，以及用于基于流水線信息、針對待處理數據執行多個作業以生成至少一部分處理結果的裝置包括：用于基于流水線信息、將多個作業中的各任務劃分為多個有序分組的裝置，其中在前后相繼的兩個分組中，后一分組的執行依賴于前一分組的輸出。

采用根據本發明的各實施方式，可以在不增加硬件投入的前提下優化現有計算設備的配置，在充分利用現有計算設備處理能力的基礎上實現實時數據處理。

附圖說明

結合附圖并參考以下詳細說明，本發明各實施方式的特征、優點及其他方面將變得更加明顯，在此以示例性而非限制性的方式示出了本發明的若干實施方式。在附圖中：

圖1示意性示出了包括多個計算設備的集群的圖示；

圖2A和圖2B分別示意性示出了針對不同作業分配計算資源的圖示；

圖3示意性示出了根據本發明一個實施方式的用于實時數據處理的方法的流程圖；

圖4示意性示出了作業中各任務的圖示；

圖5示意性示出了根據本發明一個實施方式的方法而分配計算資源的圖示；以及

圖6示意性示出了根據本發明一個實施方式的用于實時數據處理的設備的框圖。

具體實施方式