[發明專利]用于實時數據處理的方法和設備

有效

• 申請號: 201110429998.3
• 申請日: 2011-12-16
• 公開（公告）號: CN103164189A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 楊子夜;陳繼東;陳弢;向東
• 申請（專利權）人: 伊姆西公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;李崢宇

1.一種用于實時數據處理的方法，包括：

響應于接收到多個作業，分析所述多個作業之間的約束關系以獲取流水線信息；

讀取至少一部分待處理數據；以及

基于所述流水線信息，針對所述待處理數據執行所述多個作業以生成至少一部分處理結果。

2.根據權利要求1所述的方法，其中所述流水線信息包括以下至少一個：所述多個作業中的各任務的依賴序列、所需的計算資源、估計執行時間。

3.根據權利要求1或2所述的方法，其中所述多個作業中的每個作業包括多個任務，以及基于所述流水線信息、針對所述待處理數據執行所述多個作業以生成至少一部分處理結果包括：

基于所述流水線信息，將所述多個作業中的各任務劃分為多個有序分組，其中在前后相繼的兩個分組中，后一分組的執行依賴于前一分組的輸出。

4.根據權利要求3所述的方法，其中基于所述流水線信息、針對所述待處理數據執行所述多個作業以生成至少一部分處理結果包括：針對所述多個有序分組中一個分組，同時為所述分組以及所述分組的后繼分組分配計算資源。

5.根據權利要求4所述的方法，其中當完成所述分組中的任務時釋放所分配的計算資源。

6.根據權利要求3所述的方法，還包括：將所述多個作業中的每個作業的多個任務劃分為第一類型和第二類型，其中第二類型任務的執行依賴于第一類型任務的輸出。

7.根據權利要求6所述的方法，其中所述第一類型是Map類型任務，以及所述第二類型是Reduce類型任務。

8.根據權利要求1或2所述的方法，進一步包括：提供以下至少一種容錯機制：提供冗余任務以及記錄驗證點數據。

9.根據權利要求8所述的方法，其中記錄驗證點數據包括以下至少一個：針對特定任務記錄驗證點數據，以及針對特定分組中的每個任務記錄驗證點數據。

10.根據權利要求1或2所述的方法，其中在多個輪次中生成所述處理結果，以及基于先前輪次的處理，調整針對待處理數據的其他輪次的處理。

11.一種用于實時數據處理的設備，包括：

用于響應于接收到多個作業、分析所述多個作業之間的約束關系以獲取流水線信息的裝置；

用于讀取至少一部分待處理數據的裝置；以及

用于基于所述流水線信息、針對所述待處理數據執行所述多個作業以生成至少一部分處理結果。

12.根據權利要求11所述的設備，其中所述流水線信息包括以下至少一個：所述多個作業中的各任務的依賴序列、所需的計算資源、估計執行時間。

13.根據權利要求11或12所述的設備，其中所述多個作業中的每個作業包括多個任務，以及用于基于所述流水線信息、針對所述待處理數據執行所述多個作業以生成至少一部分處理結果的裝置包括：

用于基于所述流水線信息、將所述多個作業中的各任務劃分為多個有序分組的裝置，其中在前后相繼的兩個分組中，后一分組的執行依賴于前一分組的輸出。

14.根據權利要求13所述的設備，其中用于基于所述流水線信息、針對所述待處理數據執行所述多個作業以生成至少一部分處理結果的裝置包括：用于針對所述多個有序分組中一個分組、同時為所述分組以及所述分組的后繼分組分配計算資源的裝置。

15.根據權利要求14所述的設備，還包括：當完成所述分組中的任務時釋放所分配的計算資源的裝置。

16.根據權利要求13所述的設備，還包括：用于將所述多個作業中的每個作業的多個任務劃分為第一類型和第二類型的裝置，其中第二類型任務的執行依賴于第一類型任務的輸出。

17.根據權利要求15所述的設備，其中所述第一類型是Map類型任務，以及所述第二類型是Reduce類型任務。

18.根據權利要求11或12所述的設備，進一步包括：用于提供冗余任務的裝置以及用于記錄驗證點數據的裝置。

19.根據權利要求17所述的設備，其中用于記錄驗證點數據的裝置包括以下至少一個：針對特定任務記錄驗證點數據的裝置，以及針對特定分組中的每個任務記錄驗證點數據的裝置。