[發明專利]一種數據處理任務的創建方法、裝置、設備及介質

在審

• 申請號: 202210734863.6
• 申請日: 2022-06-27
• 公開（公告）號: CN115145652A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 陳杰;楊漢明
• 申請（專利權）人: 南京領行科技股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李迪

1.一種數據處理任務的創建方法，其特征在于，所述數據處理任務基于Flink組件進行數據處理，所述方法包括：

接收客戶端發送的至少一個執行任務；

針對任意一個執行任務，根據所述執行任務的任務參數和所述執行任務對應的任務依賴信息，生成所述執行任務對應的Flink執行算子；

根據各個執行任務對應的Flink執行算子，生成有向無環圖；

將生成的所述有向無環圖配置到Flink集群中，創建得到所述數據處理任務。

2.如權利要求1所述的方法，其特征在于，所述根據所述執行任務的任務參數和所述執行任務對應的任務依賴信息，生成所述執行任務對應的Flink執行算子，具體包括：

通過執行引擎將所述執行任務的任務參數和所述執行任務對應的任務依賴信息，加載至所述執行任務對應的session；

基于包含所述執行任務的任務參數和所述執行任務對應的任務依賴信息的session，調用runstatement方法，生成所述執行任務對應的Flink執行算子。

3.如權利要求2所述的方法，其特征在于，在接收客戶端發送的至少一個執行任務之后，通過執行引擎將所述執行任務的任務參數和所述執行任務對應的任務依賴信息，加載至所述執行任務對應的session之前，還包括：

基于所述執行任務對應的異步消息處理對象獲取所述執行任務的任務參數；

根據所述執行任務的任務參數、以及session管理器中存儲的多個任務參數與session之間的對應關系，確定所述執行任務對應的session。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：

若確定所述session管理器不存在所述執行任務對應的session，則根據所述執行任務的任務參數創建所述執行任務對應的session；

在所述session管理器中存儲所述執行任務的任務參數與創建的session之間的對應關系。

5.如權利要求1～4任一項所述的方法，其特征在于，所述根據各個執行任務對應的Flink執行算子，生成有向無環圖，具體包括：

根據各個執行任務對應的Flink執行算子，通過觸發execute方法生成有向無環圖。

6.如權利要求1～4任一項所述的方法，其特征在于，在生成有向無環圖之后，創建得到所述數據處理任務之前，該方法還包括：

根據預設的資源管理器運行模式構造YARN客戶端；

根據構造得到的所述YARN客戶端，將生成的有向無環圖配置到YARN上，并運行所述YARN。

7.一種數據處理任務的創建方法，其特征在于，所述數據處理任務基于Flink組件進行數據處理，所述方法包括：

響應用戶提交的至少一個任務執行命令，對所述至少一個任務執行命令分別進行語法規范化處理得到至少一個執行任務；

將所述至少一個執行任務通過任務網關發送給服務端，以使所述服務端根據所述至少一個執行任務創建所述數據處理任務。

8.一種創建數據處理任務的裝置，其特征在于，包括：

接收模塊，用于接收客戶端發送的至少一個執行任務；

生成模塊，用于針對任意一個執行任務，根據所述執行任務的任務參數和所述執行任務對應的任務依賴信息，生成所述執行任務對應的Flink執行算子；

確定模塊，用于根據各個執行任務對應的Flink執行算子，生成有向無環圖；

創建模塊，用于將生成的所述有向無環圖配置到Flink集群中，創建得到所述數據處理任務。

9.一種創建數據處理任務的裝置，其特征在于，包括：

處理模塊，響應用戶提交的至少一個任務執行命令，對所述至少一個任務執行命令分別進行語法規范化處理得到至少一個執行任務；

發送模塊，將所述至少一個執行任務通過任務網關發送給服務端，以使所述服務端根據所述至少一個執行任務創建所述數據處理任務。