[發明專利]一種用于傾斜數據的流式計算引擎運行方法及系統

有效

• 申請號: 201911191154.2
• 申請日: 2019-11-28
• 公開（公告）號: CN110990059B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 程學旗;李冰;張志斌;郭嘉豐
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F9/38
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

1.一種用于傾斜數據的流式計算引擎運行方法，其特征在于，包括：

步驟1、獲取包含傾斜數據的用戶作業，并將該用戶作業轉換為表示該用戶作業的有向無環圖，根據該有向無環圖中算子的業務處理邏輯，將該有向無環圖中節點劃分為有狀態算子和無狀態算子；

步驟2、將全部狀態算子包裝為有狀態任務后輸入有狀態數據流，將全部無狀態算子包裝為無狀態任務后輸入無狀態數據流；

步驟3、將該無狀態數據流中無狀態任務復制發送至任意計算節點，得到無狀態處理結果；

步驟4、將該有狀態數據流中有狀態任務轉換為包含鍵和值的數據記錄，將包含相同鍵的數據記錄分配至相同計算節點，得到有狀態處理結果，集合該無狀態處理結果和有狀態處理結果作為該用戶作業的運行結果。

2.如權利要求1所述的用于傾斜數據的流式計算引擎運行方法，其特征在于，該步驟4包括：將狀態數據流劃分為固定數量的數據片，該數據片可被計算節點并行處理，或根據調度器的決策調度至其他計算節點處理。

3.如權利要求1所述的用于傾斜數據的流式計算引擎運行方法，其特征在于，該步驟2中將狀態算子包裝為有狀態任務和將無狀態算子包裝為無狀態任務的過程中均包括使用OP融合規則將相關聯的算子合并。

4.如權利要求1所述的用于傾斜數據的流式計算引擎運行方法，其特征在于，該步驟4包括：

步驟41、計算節點每隔固定時間間隔挑選負荷最重的有狀態任務，并將其按照如下公式重新分配CPU資源：

其中，p_next代表任務新分配的CPU線程數量，p_now為任務當前線程數量，c_last為當前任務上次調度時線程增加數量，N_cpu為CPU核心數量。

5.如權利要求1所述的用于傾斜數據的流式計算引擎運行方法，其特征在于，該步驟4包括：每隔固定時間間隔從負載最高的計算節點選擇一個有狀態任務遷移至負載最低的計算節點。

6.一種用于傾斜數據的流式計算引擎運行系統，其特征在于，包括：

模塊1、獲取包含傾斜數據的用戶作業，并將該用戶作業轉換為表示該用戶作業的有向無環圖，根據該有向無環圖中算子的業務處理邏輯，將該有向無環圖中節點劃分為有狀態算子和無狀態算子；

模塊2、將全部狀態算子包裝為有狀態任務后輸入有狀態數據流，將全部無狀態算子包裝為無狀態任務后輸入無狀態數據流；

模塊3、將該無狀態數據流中無狀態任務復制發送至任意計算節點，得到無狀態處理結果；

模塊4、將該有狀態數據流中有狀態任務轉換為包含鍵和值的數據記錄，將包含相同鍵的數據記錄分配至相同計算節點，得到有狀態處理結果，集合該無狀態處理結果和有狀態處理結果作為該用戶作業的運行結果。

7.如權利要求6所述的用于傾斜數據的流式計算引擎運行系統，其特征在于，該模塊4包括：將狀態數據流劃分為固定數量的數據片，該數據片可被計算節點并行處理，或根據調度器的決策調度至其他計算節點處理。

8.如權利要求6所述的用于傾斜數據的流式計算引擎運行系統，其特征在于，該模塊2中將狀態算子包裝為有狀態任務和將無狀態算子包裝為無狀態任務的過程中均包括使用OP融合規則將相關聯的算子合并。

9.如權利要求6所述的用于傾斜數據的流式計算引擎運行系統，其特征在于，該模塊4包括：

模塊41、計算節點每隔固定時間間隔挑選負荷最重的有狀態任務，并將其按照如下公式重新分配CPU資源：

其中，p_next代表任務新分配的CPU線程數量，p_now為任務當前線程數量，c_last為當前任務上次調度時線程增加數量，N_cpu為CPU核心數量。

10.如權利要求6所述的用于傾斜數據的流式計算引擎運行系統，其特征在于，該模塊4包括：每隔固定時間間隔從負載最高的計算節點選擇一個有狀態任務遷移至負載最低的計算節點。