[發明專利]一種數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202110620098.0
• 申請日: 2021-06-03
• 公開（公告）號: CN113326131B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 艾智遠;林攀學;易樂天
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06Q10/10
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 賈偉;張穎玲

1.一種數據處理方法，其特征在于，所述方法包括：

獲取待處理的工作流描述文件；其中，所述工作流描述文件包括至少兩個工作流；

將所述工作流描述文件轉換為類對象；

調用所述類對象中預先設置的隱藏算子提取算法，從所述類對象中提取隱藏在每個工作流的第一算子和第二算子之間的中間算子；

將所述中間算子增添至每個工作流的所述第一算子和所述第二算子之間；

對具有相同算子的工作流進行算子的合并操作，得到優化后的工作流描述文件；

將所述優化后的工作流描述文件轉換成執行器能夠執行的程序進行數據處理。

2.根據權利要求1所述的方法，其特征在于，

存在以下至少一種情況時，確定為所述相同算子：

所述至少兩個工作流存在相同的第一算子；

所述至少兩個工作流存在相同的第二算子；

所述至少兩個工作流存在相同的中間算子。

3.根據權利要求1所述的方法，其特征在于，所述工作流描述文件為JSON文件、YAML文件或SPL語法文件。

4.根據權利要求1所述的方法，其特征在于，所述執行器包括用于進行流處理、批處理或數據同步處理的引擎。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在預先建立的注冊中心注冊每個工作流的標識信息、所述第一算子的輸出類型和所述第二算子的輸入類型；

所述從所述類對象中提取隱藏在每個工作流的所述第一算子和所述第二算子之間的所述中間算子，包括：

基于每個工作流的標識信息，從所述注冊中心提取每個工作流的所述第一算子的輸出類型和所述第二算子的輸入類型；

基于每個工作流的所述第一算子的輸出類型和所述第二算子的輸入類型，確定所述中間算子。

6.根據權利要求2所述的方法，其特征在于，所述對具有相同算子的工作流進行算子的合并操作，包括：

所述第一算子為數據源算子時，獲取每個工作流的數據源算子的輸入數據參數；

對不同工作流中具有相同輸入數據參數的數據源算子進行合并操作。

7.根據權利要求6所述的方法，其特征在于，

所述輸入數據參數至少包括：數據來源信息和數據類別信息。

8.根據權利要求6所述的方法，其特征在于，所述對具有相同算子的工作流進行算子的合并操作，還包括：

不同工作流中第一中間算子相同，且所述第一中間算子的上游算子也相同，對不同工作流中的所述第一中間算子進行合并；

其中，所述第一中間算子為所述第一算子和所述第二算子之間任意中間算子。

9.根據權利要求8所述的方法，其特征在于，

所述第一中間算子的上游算子為所述第一算子或第二中間算子。

10.一種數據處理裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待處理的工作流描述文件；其中，所述工作流描述文件包括至少兩個工作流；

提取單元，用于將所述工作流描述文件轉換為類對象；調用所述類對象中預先設置的隱藏算子提取算法，從所述類對象中提取隱藏在每個工作流的第一算子和第二算子之間的中間算子；

增添單元，用于將所述中間算子增添至每個工作流的所述第一算子和所述第二算子之間；

合并單元，用于對具有相同算子的工作流進行算子的合并操作，得到優化后的工作流描述文件；

轉換單元，用于將所述優化后的工作流描述文件轉換成執行器能夠執行的程序進行數據處理。

11.一種電子設備，其特征在于，所述電子設備包括：處理器和配置為存儲能夠在處理器上運行的計算機程序的存儲器，

其中，所述處理器配置為運行所述計算機程序時，執行權利要求1至9任一項所述方法的步驟。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至9任一項所述的方法的步驟。