[發明專利]作業執行方法、裝置、系統及計算機可讀存儲介質

有效

• 申請號: 202010624055.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111767092B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 劉有;尹強;王和平;黃山;楊峙岳;馮朝閣;楊永坤;邸帥;盧道和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/448
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張婷

本發明涉及金融科技技術領域，公開了一種作業執行方法、裝置、系統及計算機可讀存儲介質。該作業執行方法包括：在接收到Spark作業的執行請求時，根據執行請求獲取目標Spark引擎的版本號、動態配置參數和Spark作業代碼；根據版本號確定目標Spark引擎的部署目錄信息和版本加載規則；根據部署目錄信息獲取靜態配置參數，根據版本加載規則使用動態配置參數和靜態配置參數對目標Spark引擎進行初始化，以啟動目標Spark引擎；將Spark作業代碼提交至目標Spark引擎，以執行作業。本發明能夠實現在一個Linkis服務集群內同時支持多版本的Spark作業運行，減少運維成本。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及一種作業執行方法、裝置、系統及計算機可讀存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，Spark技術也不例外，但由于金融行業的安全性、實時性要求，也對Spark技術提出了更高的要求。

現有的大數據集群應用中，金融機構(如銀行)內的大數據處理環境都比較集中，數據也非常集中，數據量也非常大。由于數據的集中處理，很多大數據應用組件也是集中部署，而這些組件的版本更新也比較頻繁，每年都會好幾個版本的更新，比如正在使用ApacheSpark(為大規模數據處理而設計的快速通用的計算引擎)。

Spark每次的版本更新都會帶來很多的新特性，但有時并不能很好的兼容舊版本的作業，而一個環境內往往存在著大量的用戶，有的用戶需要使用新版本的Spark，而有的用戶需要舊版本的Spark，現在的Linkis(一種打通了多個計算存儲引擎的數據中間件)服務集群下卻只能支持一種版本的Spark作業運行，無法融合多版本的Spark同時運行。因此，為了滿足這些用戶多版本的需求，通常需要部署多套Linkis集群，從而需要大量的機器來部署不同版本的Spark?Driver，同時，用戶的作業也需要在不同的環境之間切換部署，每增加一套Linkis，就增加了運維成本和難度，用戶要維護每套環境的使用也比較困難。

發明內容

本發明的主要目的在于提供一種作業執行方法、裝置、系統及計算機可讀存儲介質，旨在實現在一個Linkis服務集群內同時支持多版本的Spark作業運行，減少運維成本。

為實現上述目的，本發明提供一種作業執行方法，所述作業執行方法包括：

在接收到Spark作業的執行請求時，根據所述執行請求獲取目標Spark引擎的版本號、動態配置參數和Spark作業代碼；

根據所述版本號確定所述目標Spark引擎的部署目錄信息和版本加載規則；

根據所述部署目錄信息獲取靜態配置參數，根據所述版本加載規則使用所述動態配置參數和所述靜態配置參數對所述目標Spark引擎進行初始化，以啟動所述目標Spark引擎；

將所述Spark作業代碼提交至所述目標Spark引擎，以執行作業。

可選地，所述根據所述版本號確定所述目標Spark引擎的部署目錄信息和版本加載規則的步驟之前，還包括：

獲取所述執行請求對應的用戶標識，檢測是否存在與所述用戶標識和所述版本號對應的空閑Spark引擎；

若不存在，則執行步驟：根據所述版本號確定所述目標Spark引擎的部署目錄信息和版本加載規則；

若存在，則將所述Spark作業代碼提交至所述空閑Spark引擎，以執行作業。

可選地，所述根據所述版本號確定所述目標Spark引擎的部署目錄信息和版本加載規則的步驟之前，還包括：

獲取所述執行請求對應的用戶標識，根據所述用戶標識判斷用戶是否在預設灰度名單中；