[發(fā)明專利]ETL調(diào)度方法及裝置

有效

• 申請?zhí)枺?/td>: 202010475399.4
• 申請日: 2020-05-29
• 公開（公告）號(hào): CN111666326B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 沈夢婷;孫麗娜;張文翰;朱姣姣
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/242
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;湯在彥

1.一種ETL調(diào)度方法，其特征在于，包括：

定時(shí)獲取目標(biāo)SQL語句列表，其中，所述目標(biāo)SQL語句列表中包含有多條SQL語句，且各個(gè)所述SQL語句中均包含有對(duì)應(yīng)的語句類型標(biāo)識(shí)；

若根據(jù)各個(gè)所述SQL語句的語句類型標(biāo)識(shí)確定屬于操作類型的SQL語句中包含有子查詢，則該包含有子查詢的SQL語句中還包含有用于獲取待處理數(shù)據(jù)的源表的標(biāo)識(shí)以及用于存儲(chǔ)處理后的數(shù)據(jù)的目標(biāo)表的標(biāo)識(shí)；

基于所述包含有子查詢的SQL語句的源表的標(biāo)識(shí)和目標(biāo)表的標(biāo)識(shí)，生成血緣對(duì)照關(guān)系表，該血緣對(duì)照關(guān)系表包含有至少一條ETL調(diào)度作業(yè)記錄，且各條ETL調(diào)度作業(yè)記錄中包括：包含有子查詢的SQL語句對(duì)應(yīng)的所述源表和所述目標(biāo)表的標(biāo)識(shí)；

將所述血緣對(duì)照關(guān)系表和目標(biāo)SQL語句列表發(fā)送至目標(biāo)調(diào)度服務(wù)器，以使該目標(biāo)調(diào)度服務(wù)器根據(jù)預(yù)存儲(chǔ)的映射關(guān)系表、目標(biāo)數(shù)據(jù)平臺(tái)信息、所述血緣對(duì)照關(guān)系表和目標(biāo)SQL語句列表執(zhí)行目標(biāo)調(diào)度作業(yè)。

2.根據(jù)權(quán)利要求1所述的ETL調(diào)度方法，其特征在于，所述基于所述包含有子查詢的SQL語句的源表的標(biāo)識(shí)和目標(biāo)表的標(biāo)識(shí)，生成血緣對(duì)照關(guān)系表，包括：

若經(jīng)判斷得到所述血緣對(duì)照關(guān)系表中已存在將所述包含有子查詢的SQL語句對(duì)應(yīng)的源表的標(biāo)識(shí)作為目標(biāo)表的標(biāo)識(shí)的歷史記錄，則在所述血緣對(duì)照關(guān)系表中創(chuàng)建一條與所述包含有子查詢的SQL語句對(duì)應(yīng)的第一新增有效記錄，并刪除所述歷史記錄；

其中，所述第一新增有效記錄中的目標(biāo)表的標(biāo)識(shí)為所述包含有子查詢的SQL語句對(duì)應(yīng)的目標(biāo)表的標(biāo)識(shí)，該第一新增有效記錄中的源表的標(biāo)識(shí)為所述歷史記錄中的源表的標(biāo)識(shí)。

3.根據(jù)權(quán)利要求1所述的ETL調(diào)度方法，其特征在于，在所述將所述血緣對(duì)照關(guān)系表和目標(biāo)SQL語句列表發(fā)送至目標(biāo)調(diào)度服務(wù)器之前，還包括：

若根據(jù)各個(gè)所述SQL語句的語句類型標(biāo)識(shí)確定所述目標(biāo)SQL語句列表中包含有屬于刪除類型的SQL語句，則該屬于刪除類型的SQL語句中包含有待刪除數(shù)據(jù)表的標(biāo)識(shí)；

刪除所述血緣對(duì)照關(guān)系表中將所述SQL語句對(duì)應(yīng)的待刪除數(shù)據(jù)表的標(biāo)識(shí)作為源表的標(biāo)識(shí)和/或目標(biāo)表的標(biāo)識(shí)的歷史記錄。

4.根據(jù)權(quán)利要求1所述的ETL調(diào)度方法，其特征在于，所述基于所述包含有子查詢的SQL語句的源表的標(biāo)識(shí)和目標(biāo)表的標(biāo)識(shí)，生成血緣對(duì)照關(guān)系表，包括：

若經(jīng)判斷得到所述血緣對(duì)照關(guān)系表中不存在將所述SQL語句對(duì)應(yīng)的源表的標(biāo)識(shí)作為目標(biāo)表的標(biāo)識(shí)的歷史記錄，則在所述血緣對(duì)照關(guān)系表中創(chuàng)建一條與所述SQL語句對(duì)應(yīng)的第二新增有效記錄；

其中，所述第二新增有效記錄中的目標(biāo)表的標(biāo)識(shí)為所述SQL語句對(duì)應(yīng)的目標(biāo)表的標(biāo)識(shí)，該第二新增有效記錄中的源表的標(biāo)識(shí)為所述SQL語句對(duì)應(yīng)的源表的標(biāo)識(shí)。

5.根據(jù)權(quán)利要求1所述的ETL調(diào)度方法，其特征在于，所述目標(biāo)調(diào)度服務(wù)器根據(jù)預(yù)存儲(chǔ)的映射關(guān)系表、目標(biāo)數(shù)據(jù)平臺(tái)信息、所述血緣對(duì)照關(guān)系表和目標(biāo)SQL語句列表執(zhí)行目標(biāo)調(diào)度作業(yè)，包括：

所述目標(biāo)調(diào)度服務(wù)器確定所述血緣對(duì)照關(guān)系表中與該目標(biāo)SQL語句列表對(duì)應(yīng)的源表的標(biāo)識(shí)，并從所述預(yù)存儲(chǔ)的映射關(guān)系表中獲得將該源表的標(biāo)識(shí)作為目標(biāo)表的標(biāo)識(shí)的依賴作業(yè)記錄；

所述目標(biāo)調(diào)度服務(wù)器判斷所述依賴作業(yè)記錄對(duì)應(yīng)的依賴作業(yè)，在預(yù)設(shè)時(shí)間段內(nèi)是否處于已完成狀態(tài)，若是，則向該目標(biāo)調(diào)度服務(wù)器對(duì)應(yīng)的數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)處理請求，以使該數(shù)據(jù)服務(wù)器根據(jù)該數(shù)據(jù)處理請求完成對(duì)應(yīng)的數(shù)據(jù)處理過程。

6.根據(jù)權(quán)利要求1所述的ETL調(diào)度方法，其特征在于，所述根據(jù)預(yù)存儲(chǔ)的映射關(guān)系表、目標(biāo)數(shù)據(jù)平臺(tái)信息、所述血緣對(duì)照關(guān)系表和目標(biāo)SQL語句列表執(zhí)行目標(biāo)調(diào)度作業(yè)，還包括：

監(jiān)控所述目標(biāo)調(diào)度作業(yè)的作業(yè)狀態(tài)，若目標(biāo)調(diào)度作業(yè)的作業(yè)狀態(tài)為已完成狀態(tài)，則將所述目標(biāo)ETL調(diào)度作業(yè)對(duì)應(yīng)的目標(biāo)表的數(shù)據(jù)輸出顯示。