[發(fā)明專利]一種大數(shù)據(jù)平臺SQL任務(wù)執(zhí)行引擎智能自動切換的方法

有效

• 申請?zhí)枺?/td>: 202110761594.8
• 申請日: 2021-07-06
• 公開（公告）號: CN113641487B
• 公開（公告）日: 2023-06-13
• 發(fā)明（設(shè)計）人: 徐長明;周亞軍
• 申請（專利權(quán)）人: 多點生活（成都）科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 成都三誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51251
• 代理人: 饒振浪

本發(fā)明公開了一種大數(shù)據(jù)平臺SQL任務(wù)執(zhí)行引擎智能自動切換的方法，包括獲取原始SQL語句和執(zhí)行參數(shù)信息，根據(jù)執(zhí)行參數(shù)信息和原始SQL語句，計算決策出當(dāng)前SQL任務(wù)適合的執(zhí)行引擎及資源配置數(shù)據(jù)，根據(jù)執(zhí)行引擎類型確認(rèn)預(yù)先設(shè)計制作好的引擎落地執(zhí)行程序包等步驟。本發(fā)明提供一個統(tǒng)一的SQL編輯入口，用戶編寫SQL語句傳遞給后端服務(wù)器，后端服務(wù)器根據(jù)業(yè)務(wù)的類型與數(shù)量，集群運行環(huán)境，資源分配情況進行綜合分析建模；統(tǒng)計具體任務(wù)運行的時段，占用資源的比例，動態(tài)調(diào)整計算資源數(shù)據(jù)來決策當(dāng)前SQL語句由大數(shù)據(jù)集群中某個執(zhí)行引擎來執(zhí)行，以優(yōu)化業(yè)務(wù)的執(zhí)行，達到資源的最大合理化分配調(diào)度，節(jié)約計算資源成本并降低開發(fā)人員的開發(fā)成本及學(xué)習(xí)成本。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是指一種大數(shù)據(jù)平臺SQL任務(wù)執(zhí)行引擎智能自動切換的方法。

背景技術(shù)

在大數(shù)據(jù)平臺的數(shù)據(jù)計算使用過程中，計算任務(wù)管理的重要內(nèi)容是：為支持各種各樣的數(shù)據(jù)展示，業(yè)務(wù)開發(fā)人員使用各種開發(fā)方式生成計算任務(wù)進行數(shù)據(jù)統(tǒng)計，支撐著各個業(yè)務(wù)數(shù)據(jù)分析及圖表數(shù)據(jù)的收集及存儲。在這種趨勢背景下，使用SQL語句作為計算任務(wù)的開發(fā)標(biāo)準(zhǔn)會讓開發(fā)人員和分析人員更容易接受，學(xué)習(xí)成本小與入門門檻低，并且很容易對數(shù)據(jù)指標(biāo)進行計算邏輯表達。在大數(shù)據(jù)環(huán)境下，各個執(zhí)行引擎會根據(jù)自己的存儲屬性在SQL標(biāo)準(zhǔn)上做一些自己的特有改進。所以計算任務(wù)開發(fā)過程中，開發(fā)人員往往會選擇使用程序語言去編寫針對特定執(zhí)行引擎的任務(wù)程序包，然后提交給大數(shù)據(jù)集群中的執(zhí)行引擎去執(zhí)行。但是，這種方式不但增加開發(fā)門檻和學(xué)習(xí)成本，而且加大集群計算的不平衡性，只能通過不斷增加服務(wù)器硬件資源去分擔(dān)執(zhí)行引擎的計算調(diào)用，但是這又會使其它執(zhí)行引擎得不到合理的分配，導(dǎo)致資源浪費。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決上述問題，提供一種能夠節(jié)約計算資源成本并降低開發(fā)人員的開發(fā)成本及學(xué)習(xí)成本的大數(shù)據(jù)平臺SQL任務(wù)執(zhí)行引擎智能自動切換的方法。

本發(fā)明的目的通過下述技術(shù)方案實現(xiàn)：一種大數(shù)據(jù)平臺SQL任務(wù)執(zhí)行引擎智能自動切換的方法，包括以下步驟：

步驟1：獲取原始SQL語句和執(zhí)行參數(shù)信息；其中，執(zhí)行參數(shù)信息包括是否有指定執(zhí)行引擎、是否設(shè)置為SQL任務(wù)分配的CPU個數(shù)及內(nèi)存資源；

步驟2：根據(jù)執(zhí)行參數(shù)信息和原始SQL語句，計算決策出當(dāng)前SQL任務(wù)適合的執(zhí)行引擎及資源配置數(shù)據(jù)；

步驟3：根據(jù)執(zhí)行引擎類型確認(rèn)預(yù)先設(shè)計制作好的引擎落地執(zhí)行程序包；

步驟4：將確認(rèn)好的引擎落地執(zhí)行程序包提交給確定好的執(zhí)行引擎去執(zhí)行，同時，將執(zhí)行狀態(tài)數(shù)據(jù)及占用的資源情況上報給服務(wù)器進行數(shù)據(jù)統(tǒng)計使用；

步驟5：SQL任務(wù)執(zhí)行完成后，將任務(wù)的完成狀態(tài)上報給服務(wù)器中進行業(yè)務(wù)終止數(shù)據(jù)統(tǒng)計及資源釋放數(shù)據(jù)統(tǒng)計；

步驟6：用戶通過前端頁面展示查看返回任務(wù)執(zhí)行結(jié)果及任務(wù)運行狀態(tài)。

步驟2中計算決策出當(dāng)前SQL任務(wù)適合的執(zhí)行引擎及資源配置數(shù)據(jù)包括以下步驟：

S1：根據(jù)執(zhí)行參數(shù)信息判定是否已指定執(zhí)行引擎；是，以指定的執(zhí)行引擎作為運行原始SQL語句的執(zhí)行引擎；否，執(zhí)行步驟S2；

S2：獲取當(dāng)前大數(shù)據(jù)集群的各執(zhí)行引擎的當(dāng)前任務(wù)個數(shù)和空閑資源以及所有服務(wù)器的公共空閑資源；

S3：根據(jù)步驟S2中獲取到的數(shù)據(jù)，選擇出最優(yōu)的執(zhí)行引擎；

S4：通過SQL解析器解析出原始SQL語句的函數(shù)列表；

S5：判定函數(shù)列表中是否有函數(shù)需要改造：是，統(tǒng)計需改造函數(shù)，并生成待改造函數(shù)列表，執(zhí)行步驟S6；否，則不對原始SQL語句進行改造，直接輸出選擇好的執(zhí)行引擎和原始SQL語句；

S6：根據(jù)預(yù)先設(shè)置好的引擎函數(shù)實現(xiàn)方式對待改造函數(shù)列表里的函數(shù)進行改造，得到改造SQL語句；