[發明專利]任務提交方法、裝置和計算機設備

在審

• 申請號: 202210034537.4
• 申請日: 2022-01-13
• 公開（公告）號: CN114489811A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 錢金勇;陳吉平;閔佳
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 劉松

本發明提供了一種任務提交方法、裝置和計算機設備，方法包括：獲取待提交任務的任務參數；確定任務參數對應的參數處理邏輯，并細化參數處理邏輯；根據待提交任務的處理流程將細化后的參數處理邏輯進行拼接，以得到任務執行鏈路；根據任務執行鏈路處理任務參數；將待提交任務提交至集群。由此，在任務提交之前進行參數處理邏輯的細化和拼接處理，提高了參數處理的靈活性和可擴展性，有利于改善任務提交的效果。

技術領域

本發明涉及大數據技術領域，具體涉及一種任務提交方法、一種任務提交裝置和一種計算機設備。

背景技術

現有的任務提交包含三個主要流程：一編寫任務，二構建任務運行參數信息，三通過大數據集群環境提交任務。目前進行參數處理時缺乏靈活性和可擴展性，導致任務提交效果較差，例如在任務類型逐漸增多，每種任務的參數處理各不相同，對應的處理邏輯就變得難以維護。

發明內容

本發明旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本發明的第一個目在于提出一種任務提交方法，在任務提交之前進行參數處理邏輯的細化和拼接處理，提高了參數處理的靈活性和可擴展性，有利于改善任務提交的效果。

本發明的第二個目的在于提出一種任務提交裝置。

本發明的第三個目的在于提出一種計算機設備。

為達到上述目的，本發明第一方面實施例提出了一種任務提交方法，包括以下步驟：

獲取待提交任務的任務參數；

確定所述任務參數對應的參數處理邏輯，并細化所述參數處理邏輯；

根據所述待提交任務的處理流程將細化后的參數處理邏輯進行拼接，以得到任務執行鏈路；

根據所述任務執行鏈路處理所述任務參數；

將所述待提交任務提交至集群。

另外，根據本發明上述實施例提出的任務提交方法還可以具有如下附加的技術特征：

根據本發明的一個實施例，細化所述參數處理邏輯，包括：

將所述待提交任務的任務腳本內容上傳到集群的操作稱為上傳操作流水線；

將獲取集群的環境信息的操作稱為集群獲取操作流水線；

將構建任務啟動腳本的操作稱為構建任務啟動腳本操作流水線；

將對所述任務啟動腳本進行Base64加密的操作稱為Base64加密操作流水線。

根據本發明的一個實施例，所述任務參數包括：任務名稱、任務類型和任務資源。

根據本發明的一個實施例，根據所述待提交任務的處理流程將細化后的參數處理邏輯進行拼接，以得到任務執行鏈路，包括：

根據所述待提交任務的處理流程梳理任務執行時的參數處理邏輯；

判斷在參數處理過程中是否存在操作流水線，其中，所述操作流水線包括：所述上傳操作流水線、所述集群獲取操作流水線、所述構建任務啟動腳本操作流水線和所述Base64加密操作流水線；

如果在參數處理過程中存在操作流水線，則獲取各個操作流水線，并根據所述參數處理邏輯，將所述各個操作流水線進行順序構建，得到任務執行鏈路。

根據本發明的一個實施例，根據所述任務執行鏈路處理所述任務參數，包括：

在所述任務執行鏈路中解析出對應的所述操作流水線；

依次執行解析出的所述操作流水線，并保留每次執行的操作結果。