[發明專利]流式數據的分布式處理方法和裝置

有效

• 申請號: 201610465909.3
• 申請日: 2016-06-23
• 公開（公告）號: CN106126643B
• 公開（公告）日: 2018-01-02
• 發明（設計）人: 徐瑤;王聰;張云聰;張建偉;黃鑫
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種流式數據的分布式處理方法，其特征在于，所述方法包括：

將接收到的流式數據封裝為第一彈性分布式數據集；

按照時間窗口對所述第一彈性分布式數據集執行分組操作，所述分組操作包括：將所述第一彈性分布式數據集中的各個數據分別分入該數據所記載的時間戳所屬時間窗口所對應的分組中，形成與各個時間窗口分別對應的、包含有窮個數據的第二彈性分布式數據集；

將各個第二彈性分布式數據集封裝成包含多個第二彈性分布式數據集的嵌套式數據集；

使用預先定義的遍歷算子，依次將所述嵌套式數據集中的各個第二彈性分布式數據集傳遞給定義在有窮數據集上的批處理算子以執行分布式數據處理。

2.根據權利要求1所述的方法，其特征在于，所述將各個第二彈性分布式數據集進行封裝成包含多個第二彈性分布式數據集的嵌套式數據集，包括：

將從各個時間窗口中選擇的時間點作為鍵以及將各個第二彈性分布式數據集作為值，封裝成以鍵值對形式存儲各個第二彈性分布式數據集的嵌套式數據集；以及

所述依次將所述嵌套式數據集中的各個第二彈性分布式數據集傳遞給定義在有窮數據集上的批處理算子以執行分布式數據處理，包括：

依次將嵌套式數據集中作為值的各個第二彈性分布式數據集，依次傳遞給定義在有窮數據集上的批處理算子以執行分布式數據處理。

3.根據權利要求2所述的方法，其特征在于，所述將從各個時間窗口中選擇的時間點作為鍵以及將各個第二彈性分布式數據集作為值，封裝成以鍵值對存儲各個第二彈性分布式數據集的嵌套式數據集，包括：

將鍵值對的鍵設置分別為各個時間窗口的起始時間點。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取用戶設置的步長時間，并將相鄰時間窗口的時間間隔的值設置為所述步長時間。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

將各個時間窗口的時間長度的值設置為所述步長時間。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

獲取用戶設置的步長數，并將各個時間窗口的時間長度的值設置為所述步長數與所述步長時間的乘積。

7.一種流式數據的分布式處理裝置，其特征在于，所述裝置包括：

第一封裝單元，用于將接收到的流式數據封裝為第一彈性分布式數據集；

分組單元，用于按照時間窗口對所述第一彈性分布式數據集執行分組操作，所述分組操作包括：將所述第一彈性分布式數據集中的各個數據分別分入該數據所記載的時間戳所屬時間窗口所對應的分組中，形成與各個時間窗口分別對應的、包含有窮個數據的第二彈性分布式數據集；

第二封裝單元，用于將各個第二彈性分布式數據集封裝成包含多個第二彈性分布式數據集的嵌套式數據集；

執行單元，用于使用預先定義的遍歷算子，依次將所述嵌套式數據集中的各個第二彈性分布式數據集傳遞給定義在有窮數據集上的批處理算子以執行分布式數據處理。

8.根據權利要求7所述的裝置，其特征在于，所述第二封裝單元進一步用于：將從各個時間窗口中選擇的時間點作為鍵以及將各個第二彈性分布式數據集作為值，封裝成以鍵值對形式存儲各個第二彈性分布式數據集的嵌套式數據集；以及

所述執行單元進一步用于：依次將嵌套式數據集中作為值的各個第二彈性分布式數據集，依次傳遞給定義在有窮數據集上的批處理算子以執行分布式數據處理。

9.根據權利要求8所述的裝置，其特征在于，所述執行單元進一步用于：將鍵值對的鍵設置分別為各個時間窗口的起始時間點。

10.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

窗口間隔設置單元，用于獲取用戶設置的步長時間，并將相鄰時間窗口的時間間隔的值設置為所述步長時間。

11.根據權利要求10所述的裝置，其特征在于，所述裝置還包括：

窗口時長設置單元，用于將各個時間窗口的時間長度的值設置為所述步長時間。

12.根據權利要求10所述的裝置，其特征在于，所述裝置還包括：

窗口時長設置單元，用于獲取用戶設置的步長數，并將各個時間窗口的時間長度的值設置為所述步長數與所述步長時間的乘積。