[發明專利]一種數據處理任務的創建方法、裝置、設備及介質

在審

• 申請號: 202210734863.6
• 申請日: 2022-06-27
• 公開（公告）號: CN115145652A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 陳杰;楊漢明
• 申請（專利權）人: 南京領行科技股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李迪

本申請涉及計算機技術領域，尤其涉及一種數據處理任務的創建方法、裝置、設備及介質。本申請實施例接收客戶端發送的至少一個執行任務；針對任意一個執行任務，根據執行任務的任務參數和執行任務對應的任務依賴信息，生成執行任務對應的Flink執行算子；根據各個執行任務對應的Flink執行算子，生成有向無環圖；將生成的有向無環圖配置到Flink集群中，創建得到數據處理任務。本申請實施例基于Flink組件搭建實時數據處理任務，對大量不同的執行任務進行統一的任務管理。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據處理任務的創建方法、裝置、設備及介質。

背景技術

隨著公司業務急速發展，產生的數據大量增長，實時平臺部門需要為業務部門提供易用、穩定和高效的實時數據服務，基于大數據實時計算的業務作業越來越多的投入線上使用，在互聯網領域發揮著重要作用，例如實時推薦、雙十一實時大屏統計等。

Flink作為主流的實時數據處理引擎，在實時大數據領域發揮著至關重要的作用，如何搭建一套基于Flink組件的實時數據處理任務成為需要解決的問題。

發明內容

本申請實施例提供一種數據處理任務的創建方法、設備、裝置及計算機存儲介質，用以提供一種基于Flink組件的實時數據處理任務的搭建方案。

第一方面，本申請實施例提供一種數據處理任務的創建方法，所述數據處理任務基于Flink組件進行數據處理，包括：

接收客戶端發送的至少一個執行任務；

針對任意一個執行任務，根據所述執行任務的任務參數和所述執行任務對應的任務依賴信息，生成所述執行任務對應的Flink執行算子；

根據各個執行任務對應的Flink執行算子，生成有向無環圖；

將生成的所述有向無環圖配置到Flink集群中，創建得到所述數據處理任務。

可選的，所述根據所述執行任務的任務參數和所述執行任務對應的任務依賴信息，生成所述執行任務對應的Flink執行算子，具體包括：

通過執行引擎將所述執行任務的任務參數和所述執行任務對應的任務依賴信息，加載至所述執行任務對應的session；

基于包含所述執行任務的任務參數和所述執行任務對應的任務依賴信息的session，調用runstatement方法，生成所述執行任務對應的Flink執行算子。

可選的，在接收客戶端發送的至少一個執行任務之后，通過執行引擎將所述執行任務的任務參數和所述執行任務對應的任務依賴信息，加載至所述執行任務對應的session之前，還包括：

基于所述執行任務對應的異步消息處理對象獲取所述執行任務的任務參數；

根據所述執行任務的任務參數、以及session管理器中存儲的多個任務參數與session之間的對應關系，確定所述執行任務對應的session。

可選的，所述方法還包括：

若確定所述session管理器不存在所述執行任務對應的session，則根據所述執行任務的任務參數創建所述執行任務對應的session；

在所述session管理器中存儲所述執行任務的任務參數與創建的session之間的對應關系。

可選的，所述根據各個執行任務對應的Flink執行算子，生成有向無環圖，具體包括：

根據各個執行任務對應的Flink執行算子，通過觸發execute方法生成有向無環圖。

可選的，在生成表示所述至少一個執行任務之間業務邏輯的有向無環圖之后，創建得到所述數據處理任務之前，該方法還包括：