[發明專利]基于算子作用域動態感知的彈性資源分配方法及裝置

在審

• 申請號: 202210431141.3
• 申請日: 2022-04-22
• 公開（公告）號: CN115016928A
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 劉帆;朱蔚林;木偉民;張云;李名揚;王偉平
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種基于算子作用域動態感知的彈性資源分配方法及裝置。所述方法包括：構建數據流處理應用的有向無環圖，所述有向無環圖中的節點表示處理數據流的算子，邊表示數據流；根據算子的靜態篩選率指標和動態篩選率統計指標來評估上游算子的作用域，自適應地將有向無環圖進行分區。預測每個分區未來一段時間的負載；針對每個所述分區中的各算子，基于所述負載生成相應數量的算子實例，以對所述接收數據進行實時處理，滿足服務質量要求。本發明以分區為單位規劃算子的并行性，從而保證端到端處理延遲，提升資源利用率。

技術領域

本發明涉及數據流處理領域，具體為一種基于算子作用域動態感知的彈性資源分配方法及裝置。

背景技術

在分布式流處理系統(以下簡稱DSPSs)中，數據流處理應用(以下簡稱DSPAs)通常建模成有向無環圖(DAG)，圖中的點表示處理數據流的算子，邊表示數據流。上游算子處理完數據流后發送給下游算子。上游算子的負載和并行度發生變化，下游算子的負載和并行度也很有可能會發生變化。

原方法在進行資源分配時只考慮DAG圖中的單個算子或者算子之間的靜態相關性，忽略了DAG圖中算子之間的動態相關性，導致資源分配滯后、不準確，增加數據處理延遲。為了解決該問題，利用算子的動態作用域評估算子之間的動態相關性，實現彈性資源分配。

發明內容

針對上述問題，本發明提供一種基于算子作用域動態感知的彈性資源分配方法及裝置，所述方法以分區為單位規劃算子的并行性，從而保證端到端處理延遲，提升資源利用率。

為實現上述目的，本發明采用如下技術方案：

一種基于算子作用域動態感知的彈性資源分配方法，其步驟包括：

構建數據流處理應用的有向無環圖，所述有向無環圖中的節點表示處理數據流的算子，邊表示數據流；

根據算子的靜態篩選率指標和動態篩選率統計指標來評估上游算子的作用域，自適應地將有向無環圖進行分區。

預測每個分區未來一段時間的負載；

針對每個所述分區中的各算子，基于所述負載生成相應數量的算子實例，以對所述接收數據進行實時處理，滿足服務質量要求。

進一步地，所述根據算子的靜態篩選率指標和動態篩選率統計指標來評估上游算子的作用域，自適應地將DAG圖進行分區，包括：

根據算子的處理邏輯進行理論上輸出速率與總輸入速率的比值推斷，得到靜態篩選率；

收集動態篩選率指標；

在啟動階段，根據所述靜態篩選率將算子分成初始穩定算子集合與初始不穩定算子集合；

將初始不穩定算子集合中算子的下游算子的所有輸入邊截斷，并將所有相連的子圖聚合，得到所述有向無環圖的初始分區；

在運行階段，根據所述動態篩選率指標更新穩定集合和不穩定集合，以再次進行所述有向無環圖的分區。

進一步地，所述在線預測每個分區未來一段時間的負載，包括：

構建訓練數據集，所述訓練數據集為每個分區的歷史輸入數據負載；

基于所述訓練數據集對元學習模型進行學習，得到每一分區的在線負載預測模型，其中，所述元學習模型包括：MLP基礎學習器和LSTM元學習器；

將所述歷史負載輸入在線負載預測模型，得到所述未來一段時間的負載。

進一步地，所述基于所述訓練數據集對元學習模型進行學習，包括：

將所述歷史輸入數據負載輸入所述MLP基礎學習器；