[發明專利]基于混合編排的數據處理方法、裝置、系統和存儲介質在審
| 申請號： | 202110349288.3 | 申請日： | 2021-03-31 |
| 公開（公告）號： | CN112925813A | 公開（公告）日： | 2021-06-08 |
| 發明（設計）人： | 方榮;羅偉鋒;郭朕;劉鵬;馬浩 | 申請（專利權）人： | 第四范式（北京）技術有限公司 |
| 主分類號： | G06F16/2455 | 分類號： | G06F16/2455;G06F16/2458;G06F16/27;G06F16/28;G06N20/00 |
| 代理公司： | 北京開陽星知識產權代理有限公司 11710 | 代理人： | 郭鑫 |
| 地址： | 100085 北京市海淀區清*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 混合 編排 數據處理 方法 裝置 系統 存儲 介質 | ||
1.一種基于混合編排的數據處理方法，所述方法包括：
獲取數據配置信息和數據處理邏輯；
基于所述數據配置信息和數據處理邏輯，采用節點和邊的數據結構，混合編排流程信息；其中，所述節點包括數據節點和計算節點，所述邊用于描述該邊連接的兩個節點之間的依賴關系；
解析所述流程信息，以執行所述流程信息中的至少一個計算節點，完成數據處理。
2.根據權利要求1所述的方法，其中，所述流程信息包括至少一個數據節點、至少一個計算節點和至少一條邊；所述數據節點包括多個數據配置項；
所述基于所述數據配置信息和數據處理邏輯，采用節點和邊的數據結構，混合編排流程信息包括：
基于所述數據配置信息配置所述數據節點的數據配置項；
基于所述數據處理邏輯配置所述計算節點的數據處理邏輯。
3.根據權利要求2所述的方法，其中，所述數據配置項包括以下一種或多種：存儲配置項、數據表字段配置項、服務地址配置項。
4.根據權利要求2所述的方法，其中，所述計算節點的數據處理邏輯包括：流式任務、批量任務、定時任務或服務。
5.根據權利要求4所述的方法，其中，所述流程信息包括以下至少兩種計算節點：
所述流式任務的計算節點、所述批量任務的計算節點、所述定時任務的計算節點和所述服務的計算節點。
6.根據權利要求2所述的方法，其中，在配置所述計算節點的數據處理邏輯后，所述方法還包括：
聲明所述計算節點的執行引擎；
配置所述計算節點的執行前處理方法；
配置所述計算節點的執行后處理方法。
7.根據權利要求6所述的方法，其中，所述配置所述計算節點的執行前處理方法包括：
配置所述計算節點的輸入鉤子函數，所述輸入鉤子函數中設置所述計算節點的執行觸發條件。
8.一種基于混合編排的數據處理裝置，所述裝置包括：
獲取單元，用于獲取數據配置信息和數據處理邏輯；
編排單元，用于基于所述數據配置信息和數據處理邏輯，采用節點和邊的數據結構，混合編排流程信息；其中，所述節點包括數據節點和計算節點，所述邊用于描述該邊連接的兩個節點之間的依賴關系；
解析單元，用于解析所述流程信息，以執行所述流程信息中的至少一個計算節點，完成數據處理。
9.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1至7任一項所述基于混合編排的數據處理方法的步驟。
10.一種非暫態計算機可讀存儲介質，其中，所述非暫態計算機可讀存儲介質存儲程序或指令，當所述程序或指令被至少一個計算裝置運行時，使至少一個計算裝置執行如權利要求1至7任一項所述基于混合編排的數據處理方法的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于第四范式（北京）技術有限公司，未經第四范式（北京）技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110349288.3/1.html，轉載請聲明來源鉆瓜專利網。
