[發(fā)明專利]一種基于Impala組件的批處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810385610.6
• 申請(qǐng)日: 2018-04-26
• 公開(kāi)（公告）號(hào): CN108595156A
• 公開(kāi)（公告）日: 2018-09-28
• 發(fā)明（設(shè)計(jì)）人: 翁宇哲;林強(qiáng);陳翔
• 申請(qǐng)（專利權(quán)）人: 寧波銀行股份有限公司
• 主分類號(hào): G06F8/20
• 分類號(hào): G06F8/20;G06F8/35;G06F8/41
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請(qǐng)?zhí)峁┑囊环N基于Impala組件的批處理方法及系統(tǒng)，用戶只需要在預(yù)設(shè)模板中輸入與目標(biāo)批處理任務(wù)相對(duì)應(yīng)的符合Impala組件格式的SQL語(yǔ)句，生成內(nèi)嵌有所述SQL語(yǔ)句的預(yù)設(shè)格式文件，運(yùn)行所述預(yù)設(shè)格式文件，通過(guò)調(diào)用所述預(yù)設(shè)格式文件的運(yùn)行環(huán)境中與所述目標(biāo)批處理任務(wù)相對(duì)應(yīng)的至少一個(gè)已封裝功能包，調(diào)用Impala組件中的應(yīng)用程序編程接口，將所述SQL語(yǔ)句發(fā)送至Impala組件，使所述Impala組件執(zhí)行所述目標(biāo)批處理任務(wù)。避免了開(kāi)發(fā)人員為了調(diào)用Impala組件所進(jìn)行大量的程序開(kāi)發(fā)，以及每次進(jìn)行批處理時(shí)進(jìn)行程序編寫(xiě)帶來(lái)錯(cuò)誤，提高了批處理的執(zhí)行效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體的，涉及一種基于Impala組件的批處理方法及系統(tǒng)。

背景技術(shù)

近年來(lái)，大數(shù)據(jù)處理與分析已經(jīng)成為全球性問(wèn)題，隨著我國(guó)經(jīng)濟(jì)社會(huì)信息化和自動(dòng)化水平的不斷提高，在政府、公共服務(wù)、科學(xué)研究和商業(yè)應(yīng)用等許多領(lǐng)域也面臨大數(shù)據(jù)問(wèn)題。大數(shù)據(jù)平臺(tái)提出基于互聯(lián)網(wǎng)和數(shù)據(jù)中心、面向服務(wù)的大數(shù)據(jù)分析平臺(tái)解決方案，以滿足日益增長(zhǎng)的大數(shù)據(jù)處理需求。

Impala組件是運(yùn)行于現(xiàn)有大數(shù)據(jù)平臺(tái)上的實(shí)時(shí)互動(dòng)SQL查詢引擎，可以讓HDFS文件系統(tǒng)以及HBase數(shù)據(jù)庫(kù)中的數(shù)據(jù)支持實(shí)時(shí)快速查詢。目前很多組織機(jī)構(gòu)都嘗試?yán)么髷?shù)據(jù)平臺(tái)以及Impala組件進(jìn)行數(shù)據(jù)批處理，但是，由于不同組織機(jī)構(gòu)的系統(tǒng)差異性和業(yè)務(wù)差異性，現(xiàn)有大數(shù)據(jù)平臺(tái)以及Impala組件不能滿足不同組織機(jī)構(gòu)的批處理需求，一個(gè)組織機(jī)構(gòu)需要利用大數(shù)據(jù)平臺(tái)以及Impala組件進(jìn)行數(shù)據(jù)批處理時(shí)往往需要編寫(xiě)大量復(fù)雜的程序以調(diào)用Impala組件，為開(kāi)發(fā)人員帶來(lái)了巨大的工作量，同時(shí)也很容易出錯(cuò)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于Impala組件的批處理方法及系統(tǒng)，可以直接調(diào)用Impala組件實(shí)現(xiàn)批處理，提高了批處理效率。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供的具體技術(shù)方案如下：

一種基于Impala組件的批處理方法，包括：

獲取用戶在預(yù)設(shè)模板中輸入的與目標(biāo)批處理任務(wù)相對(duì)應(yīng)的符合Impala組件格式的SQL語(yǔ)句；

生成內(nèi)嵌有所述SQL語(yǔ)句的預(yù)設(shè)格式文件；

運(yùn)行所述預(yù)設(shè)格式文件，通過(guò)調(diào)用所述預(yù)設(shè)格式文件的運(yùn)行環(huán)境中與所述目標(biāo)批處理任務(wù)相對(duì)應(yīng)的至少一個(gè)已封裝功能包，調(diào)用Impala組件中的應(yīng)用程序編程接口，將所述SQL語(yǔ)句發(fā)送至Impala組件，使所述Impala組件執(zhí)行所述目標(biāo)批處理任務(wù)。

優(yōu)選的，在獲取用戶在預(yù)設(shè)模板中輸入的與目標(biāo)批處理任務(wù)相對(duì)應(yīng)的SQL語(yǔ)句之后，所述方法還包括：

檢測(cè)所述SQL語(yǔ)句中的輸入?yún)?shù)是否正確，并當(dāng)檢測(cè)到輸入?yún)?shù)錯(cuò)誤時(shí)提示用戶輸入?yún)?shù)錯(cuò)誤。

優(yōu)選的，所述方法還包括：

將所述目標(biāo)批處理任務(wù)的參數(shù)信息、所述目標(biāo)批處理任務(wù)中的每一個(gè)腳本的執(zhí)行狀態(tài)、以及每一條SQL語(yǔ)句的執(zhí)行狀態(tài)記錄在日志中。

優(yōu)選的，所述方法還包括：

在所述目標(biāo)批處理任務(wù)的執(zhí)行過(guò)程中，反饋每一個(gè)腳本的執(zhí)行狀態(tài)和每一條SQL語(yǔ)句的執(zhí)行狀態(tài)。

優(yōu)選的，所述方法還包括：

在所述目標(biāo)批處理任務(wù)的執(zhí)行過(guò)程中，對(duì)所述目標(biāo)批處理任務(wù)中的每一個(gè)腳本的執(zhí)行狀態(tài)進(jìn)行監(jiān)測(cè)，并當(dāng)監(jiān)測(cè)到任意一個(gè)腳本執(zhí)行異常時(shí)，提示用戶腳本執(zhí)行異常。

優(yōu)選的，所述方法還包括：

當(dāng)所述目標(biāo)批處理任務(wù)執(zhí)行結(jié)束后，釋放所述目標(biāo)批處理任務(wù)占用的內(nèi)存資源和CPU資源。

一種基于Impala組件的批處理系統(tǒng)，包括：