[發明專利]分布式處理引擎任務的實現方法、裝置以及電子設備

在審

• 申請號: 202210539396.1
• 申請日: 2022-05-17
• 公開（公告）號: CN114968398A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 羅賢林
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06F3/0484
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 曾軍

本發明公開了一種分布式處理引擎任務的實現方法、裝置以及電子設備。該方法包括：獲取第一引擎任務和通用數據包；根據通用數據包生成第一引擎任務對應的目標數據包；通過可視化界面為目標數據包配置目標參數；根據目標參數生成目標啟動腳本；在可視化界面上的啟停按鍵被點擊的情況下，啟動目標啟動腳本，運行第一引擎任務。本發明解決了引擎任務無法統一規則開發，無法一鍵控制任務啟停，無法動態提供參數配置的技術問題。

技術領域

本發明涉及計算機領域，具體而言，涉及一種分布式處理引擎任務的實現方法、裝置以及電子設備。

背景技術

Apache Flink是一個在無界和有界數據流上進行狀態計算的框架和分布式處理引擎。Flink已經可以在所有常見的集群環境中運行，并以in-memory(存儲引擎)的速度和任意的規模進行計算。但在實際使用過程中，還是存在一些工程結構上的問題，如用Yarn(資源管理器)部署的Flink任務，只能通過Yarn Api(接口)來控制任務的啟停，沒有一個比較好的可視化界面，方便運維人員或者非技術人員維護；不同的Flink任務，都需要初始化Flink的運行環境，造成不同的業務代碼重復，而且不同的業務需要維護一部分公用的規則，無法動態提供參數配置。

發明內容

本發明實施例提供了一種分布式處理引擎任務的實現方法、裝置以及電子設備，以至少解決引擎任務無法統一規則開發，無法一鍵控制任務啟停，無法動態提供參數配置的技術問題。

根據本發明實施例的一個方面，提供了一種分布式處理引擎任務的實現方法，包括：獲取第一引擎任務和通用數據包；根據上述通用數據包生成上述第一引擎任務對應的目標數據包；通過可視化界面為上述目標數據包配置目標參數；根據上述目標參數生成目標啟動腳本；在上述可視化界面上的啟停按鍵被點擊的情況下，啟動上述目標啟動腳本，運行上述第一引擎任務。

根據本發明實施例的另一方面，提供了一種分布式處理引擎任務的實現裝置，包括：第一獲取模塊，用于獲取第一引擎任務和通用數據包；第一生成模塊，用于根據上述通用數據包生成上述第一引擎任務對應的目標數據包；配置模塊，用于通過可視化界面為上述目標數據包配置目標參數；第二生成模塊，用于根據上述目標參數生成目標啟動腳本；啟動模塊，用于在上述可視化界面上的啟停按鍵被點擊的情況下，啟動上述目標啟動腳本，運行上述第一引擎任務。

作為一種可選的示例，上述第一獲取模塊包括：第一獲取單元，用于獲取模板腳本；第一生成單元，用于根據上述模板腳本生成上述通用數據包。

作為一種可選的示例，上述第一生成模塊包括：第二獲取單元，用于獲取上述第一引擎任務的規則數據包和參數數據包；第二生成單元，用于根據上述通用數據包，上述規則數據包以及上述參數數據包生成上述目標數據包。

作為一種可選的示例，上述啟動模塊包括：調用單元，用于調用上述第一引擎任務對應的心跳接口；第三獲取單元，用于通過上述心跳接口獲取上述第一引擎任務的任務狀態；更新單元，用于將上述任務狀態更新至上述可視化界面。

作為一種可選的示例，上述裝置還包括：第二獲取模塊，用于獲取第二引擎任務；第三獲取模塊，用于在數據庫中存在上述第二引擎任務的情況下，獲取上述第二引擎任務的第一數據包和原始數據包；替換模塊，用于將上述第一數據包替換上述原始數據包。

作為一種可選的示例，上述裝置還包括：第四獲取模塊，用于在上述數據庫中不存在上述第二引擎任務的情況下，獲取上述第二引擎任務的上述第一數據包；保存模塊，用于將上述第二引擎任務和上述第一數據包保存至上述數據庫。

作為一種可選的示例，上述裝置還包括：處理模塊，用于在上述可視化界面上的啟停按鍵被點擊的情況下，暫停運行上述第一引擎任務。

根據本發明實施例的又一方面，還提供了一種存儲介質，該存儲介質中存儲有計算機程序，其中，該計算機程序被處理器運行時執行上述分布式處理引擎任務的實現方法。