[發明專利]一種應用于數據倉庫ETL告警的處理模塊及系統

在審

• 申請號: 202210632729.5
• 申請日: 2022-05-27
• 公開（公告）號: CN115495510A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 郭威;趙文政;劉林平;高昶
• 申請（專利權）人: 上海喆塔信息科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/21
• 代理公司: 安徽致至知識產權代理事務所(普通合伙) 34221
• 代理人: 李作鵬

1.一種應用于數據倉庫ETL告警的處理模塊，其特征在于：包括調度模塊(1)、ETL模塊(2)、AI智能大數據分析及處理模塊(3)和存儲模塊(4)；

所述調度模塊(1)用于設定ETL的進行時間頻率、處理周期以及ETL處理的作業內容；

所述ETL模塊(2)用于進行對數據的抽取、數據的清洗轉換和數據的加載的過程；

所述AI智能大數據分析及處理模塊(3)用于對ETL告警內容進行分析，并自動對不同的異常進行相應的處理；

所述存儲模塊(4)用于存儲ETL模塊的日志及告警內容，以及緩存數據，以及AI智能大數據分析及處理模塊的數據。

2.一種系統，使用應用于數據倉庫ETL告警的處理模塊，其特征在于：具體包括如下步驟：

步驟1：數據采集，系統對從數據源進行數據的采集；

步驟2：數據處理，系統對采集的數據進行處理；

步驟3：完成ETL過程，數據的ETL過程完成，生成日志；

步驟4：信息分析，當AI智能大數據分析模塊收到ETL異常告警信息后，對告警信息進行分析；

步驟5：異常預處理，AI智能大數據分析模塊對ETL異常信息分析后，自動對ETL異常進行預處理并等待管理員確認處理結果；

步驟6：管理員確認處理；

步驟7：管理員再次確認；

步驟8：數據存儲，管理員對異常進行人工干預處理后，處理日志將會進行存儲，并加入智能分析模塊大數據池中。

3.根據權利要求2所述的一種系統，其特征在于：所述步驟3中具體包括步驟31和步驟32，并根據當ETL情況，選擇步驟31或步驟32；

步驟31：ETL過程異常，產生告警信息；

步驟32：ETL正常，ETL過程結束。

4.根據權利要求2所述的一種系統，其特征在于：

所述步驟6中，管理員在確認處理時，如管理員確認處理結果OK，則異常處理完成，ETL過程結束，且將ETL異常處理日志存儲并加入智能分析模塊大數據池中；

所述步驟6中，管理員在確認處理時，如管理員確認處理NG，則AI智能大數據分析模塊對ETL異常信息重新進行分析，并再次自動對ETL異常進行預處理，并等待管理員確認處理結果。

5.根據權利要求2所述的一種系統，其特征在于：

所述步驟7中，管理員再次確認時，如管理員再次確認處理結果OK，則異常處理完成，ETL過程結束，且將ETL異常處理日志存儲并加入智能分析模塊大數據池中；

所述步驟7中，管理員再次確認時，如管理員再次確認處理結果NG，則管理員對異常進行人工干預處理。

6.根據權利要求2所述的一種系統，其特征在于：所述步驟1中數據源選擇EDA，MES，SPC，FDC，PMS，WMS中的一種。

7.根據權利要求2所述的一種系統，其特征在于：所述步驟5中異常預處理時，AI智能大數據分析及處理模塊對ETL異常過程原因分為二個大的類型分類，分別為：

第一大類：外部環境造成的ETL異常；

第二大類：數據源導致的ETL異常。

8.根據權利要求7所述的一種系統，其特征在于：所述第一大類ETL異常過程原因包括網絡中斷、系統崩潰、系統資源不足中的一種或多種；所述第二大類ETL異常過程原因包括接口異常、源表結構變化、約定時間不足中的一種或多種。

9.一種存儲介質，其特征在于：所述存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于執行權利要求2-8任意一項所述的一種系統。

10.一種電子設備(5)，其特征在于：包括：

至少一個處理器(51)；以及，

與所述至少一個處理器(51)通信連接的存儲器(52)；其中，

所述存儲器(53)存儲有可被所述至少一個處理器(51)執行的指令，所述指令被所述至少一個處理器(51)執行，以使所述至少一個處理器(51)能夠執行權利要求2-8任意一項所述的一種系統。