[發(fā)明專利]一種ETL系統(tǒng)及基于ETL系統(tǒng)的數(shù)據(jù)處理方法

有效

• 申請?zhí)枺?/td>: 202011634028.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112732809B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 徐鎮(zhèn)河
• 申請（專利權(quán)）人: 杭州海康威視系統(tǒng)技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 張聰聰;項京

1.一種ETL系統(tǒng)，其特征在于，包括：預(yù)先生成的業(yè)務(wù)處理實例、多個處理單元和運行狀態(tài)服務(wù)模塊；其中，

所述運行狀態(tài)服務(wù)模塊中存儲有每個所述處理單元對應(yīng)的運行狀態(tài)數(shù)據(jù)；

所述業(yè)務(wù)處理實例中包括調(diào)度模塊；

所述調(diào)度模塊，用于根據(jù)所述運行狀態(tài)數(shù)據(jù)，從所述多個處理單元中，確定所述調(diào)度模塊所在的業(yè)務(wù)處理實例對應(yīng)的待裝載處理單元；將所述待裝載處理單元裝載至所述調(diào)度模塊所在的業(yè)務(wù)處理實例中，得到裝載后的業(yè)務(wù)處理實例；控制所述裝載后的業(yè)務(wù)處理實例，執(zhí)行ETL業(yè)務(wù)指令；

其中，所述ETL業(yè)務(wù)指令中的一個數(shù)據(jù)處理步驟中的一個環(huán)節(jié)對應(yīng)一個處理單元。

2.根據(jù)權(quán)利要求1所述的ETL系統(tǒng)，其特征在于，還包括元數(shù)據(jù)庫，所述元數(shù)據(jù)庫中存儲有每個所述處理單元的元數(shù)據(jù)，所述元數(shù)據(jù)中包括處理單元的地址；

所述調(diào)度模塊，用于根據(jù)所述元數(shù)據(jù)庫中存儲的每個所述處理單元的元數(shù)據(jù)，將所述待裝載處理單元裝載至所述調(diào)度模塊所在的業(yè)務(wù)處理實例中。

3.根據(jù)權(quán)利要求1所述的ETL系統(tǒng)，其特征在于，所述裝載后的業(yè)務(wù)處理實例中包括：所述調(diào)度模塊以及多個執(zhí)行器；其中，

所述執(zhí)行器為：裝載到業(yè)務(wù)處理實例后的處理單元；

所述調(diào)度模塊，還用于根據(jù)所述運行狀態(tài)數(shù)據(jù)和各執(zhí)行器之間的執(zhí)行順序，從所述裝載后的業(yè)務(wù)處理實例包含的多個執(zhí)行器中確定執(zhí)行ETL業(yè)務(wù)指令的當前執(zhí)行器，控制所述當前執(zhí)行器執(zhí)行ETL業(yè)務(wù)指令。

4.根據(jù)權(quán)利要求3所述的ETL系統(tǒng)，其特征在于，所述裝載后的業(yè)務(wù)處理實例中還包括：

數(shù)據(jù)傳輸模塊，用于在裝載后的業(yè)務(wù)處理實例之間進行數(shù)據(jù)傳輸。

5.根據(jù)權(quán)利要求4所述的ETL系統(tǒng)，其特征在于，

所述調(diào)度模塊，還用于在所述當前執(zhí)行器未處于所述調(diào)度模塊所在的裝載后的業(yè)務(wù)處理實例中的情況下，通過所述數(shù)據(jù)傳輸模塊，將所述當前執(zhí)行器的上一個執(zhí)行器的處理后數(shù)據(jù)發(fā)送至所述當前執(zhí)行器中。

6.根據(jù)權(quán)利要求4所述的ETL系統(tǒng)，其特征在于，所述裝載后的業(yè)務(wù)處理實例中還包括：每個執(zhí)行器分別對應(yīng)的輸入隊列和輸出隊列；其中，

所述輸入隊列，用于存儲其對應(yīng)的執(zhí)行器的待處理數(shù)據(jù)；

所述輸出隊列，用于存儲其對應(yīng)的執(zhí)行器的處理后數(shù)據(jù)；

所述調(diào)度模塊，還用于在所述當前執(zhí)行器未處于所述調(diào)度模塊所在的裝載后的業(yè)務(wù)處理實例中的情況下，通過所述數(shù)據(jù)傳輸模塊，將所述當前執(zhí)行器的上一個執(zhí)行器的輸出隊列中的數(shù)據(jù)發(fā)送至所述當前執(zhí)行器的輸入隊列中。

7.根據(jù)權(quán)利要求1所述的ETL系統(tǒng)，其特征在于，所述多個處理單元包括多種處理單元，其中每種處理單元包括多個功能相同、互相備份的處理單元；

所述調(diào)度模塊，還用于根據(jù)所述運行狀態(tài)數(shù)據(jù)，從所述多個處理單元中，確定所述調(diào)度模塊所在的業(yè)務(wù)處理實例對應(yīng)的各種處理單元，并在所確定的各種處理單元中，選擇待裝載處理單元。

8.一種基于ETL系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，應(yīng)用于ETL系統(tǒng)中生成的業(yè)務(wù)處理實例中的調(diào)度模塊，所述ETL系統(tǒng)中還包括：多個處理單元和運行狀態(tài)服務(wù)模塊；所述運行狀態(tài)服務(wù)模塊中存儲有每個所述處理單元對應(yīng)的運行狀態(tài)數(shù)據(jù)；所述方法包括：

根據(jù)所述運行狀態(tài)數(shù)據(jù)，從所述多個處理單元中，確定所述調(diào)度模塊所在的業(yè)務(wù)處理實例對應(yīng)的待裝載處理單元；

將所述待裝載處理單元裝載至所述調(diào)度模塊所在的業(yè)務(wù)處理實例中，得到裝載后的業(yè)務(wù)處理實例；

控制所述裝載后的業(yè)務(wù)處理實例，執(zhí)行ETL業(yè)務(wù)指令；

其中，所述ETL業(yè)務(wù)指令中的一個數(shù)據(jù)處理步驟中的一個環(huán)節(jié)對應(yīng)一個處理單元。