[發明專利]一種基于Impala組件的批處理方法及系統

在審

• 申請號: 201810385610.6
• 申請日: 2018-04-26
• 公開（公告）號: CN108595156A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 翁宇哲;林強;陳翔
• 申請（專利權）人: 寧波銀行股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F8/35;G06F8/41
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種基于Impala組件的批處理方法，其特征在于，包括：

獲取用戶在預設模板中輸入的與目標批處理任務相對應的符合Impala組件格式的SQL語句；

生成內嵌有所述SQL語句的預設格式文件；

運行所述預設格式文件，通過調用所述預設格式文件的運行環境中與所述目標批處理任務相對應的至少一個已封裝功能包，調用Impala組件中的應用程序編程接口，將所述SQL語句發送至Impala組件，使所述Impala組件執行所述目標批處理任務。

2.根據權利要去1所述的方法，其特征在于，在獲取用戶在預設模板中輸入的與目標批處理任務相對應的SQL語句之后，所述方法還包括：

檢測所述SQL語句中的輸入參數是否正確，并當檢測到輸入參數錯誤時提示用戶輸入參數錯誤。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述目標批處理任務的參數信息、所述目標批處理任務中的每一個腳本的執行狀態、以及每一條SQL語句的執行狀態記錄在日志中。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述目標批處理任務的執行過程中，反饋每一個腳本的執行狀態和每一條SQL語句的執行狀態。

5.根據權利要去1所述的方法，其特征在于，所述方法還包括：

在所述目標批處理任務的執行過程中，對所述目標批處理任務中的每一個腳本的執行狀態進行監測，并當監測到任意一個腳本執行異常時，提示用戶腳本執行異常。

6.根據權利要去1所述的方法，其特征在于，所述方法還包括：

當所述目標批處理任務執行結束后，釋放所述目標批處理任務占用的內存資源和CPU資源。

7.一種基于Impala組件的批處理系統，其特征在于，包括：

SQL獲取單元，用于獲取用戶在預設模板中輸入的與目標批處理任務相對應的符合Impala格式的SQL語句；

生成單元，用于生成內嵌有所述SQL語句的預設格式文件；

Impala調用單元，用于運行所述預設格式文件，通過調用所述預設格式文件的運行環境中與所述目標批處理任務相對應的至少一個已封裝功能包，調用Impala組件中的應用程序編程接口，將所述SQL語句發送至Impala組件，使所述Impala組件執行所述目標批處理任務。

8.根據權利要求7所述的系統，其特征在于，所述系統還包括：

輸入參數檢測單元，用于檢測所述SQL語句中的輸入參數是否正確，并當檢測到輸入參數錯誤時提示用戶輸入參數錯誤。

9.根據權利要求7所述的系統，其特征在于，所述系統還包括：

日志記錄單元，用于將所述目標批處理任務的參數信息、所述目標批處理任務中的每一個腳本的執行狀態、以及每一條SQL語句的執行狀態記錄在日志中。

10.根據權利要求7所述的系統，其特征在于，所述系統還包括：

狀態反饋單元，用于在所述目標批處理任務的執行過程中，反饋每一個腳本的執行狀態和每一條SQL語句的執行狀態。

11.根據權利要去7所述的系統，其特征在于，所述系統還包括：

異常監測單元，用于在所述目標批處理任務的執行過程中，對所述目標批處理任務中的每一個腳本的執行狀態進行監測，并當監測到任意一個腳本執行異常時，提示用戶腳本執行異常。

12.根據權利要去7所述的系統，其特征在于，所述系統還包括：

資源釋放單元，用于當所述目標批處理任務執行結束后，釋放所述目標批處理任務占用的內存資源和CPU資源。