[發明專利]一種數據質量稽核動態擴展的方法、裝置和設備

在審

• 申請號: 202211251331.3
• 申請日: 2022-10-13
• 公開（公告）號: CN115905189A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 周朝衛;劉鈞;張梅;周世軍;覃華云
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25
• 代理公司: 上海嘉藍專利代理事務所(普通合伙) 31407
• 代理人: 金波

1.一種數據質量稽核動態擴展的方法，其特征在于，該方法包括：

S01：使用Spark的數據源接口，將各類數據源加載為Dataset，并根據配置的稽核對象名，注冊為Spark的表；

S02：對加載的數據源，根據數據質量稽核控件進行處理，生成數據質量稽核基礎指標；

S03：對生成的基礎指標進行算法邏輯處理，生成新的指標：計算指標；

S04：配置Prometheus模板，模板中配置了基礎指標和計算指標的編碼，在數據質量稽核任務運行時，替換指標編碼為具體指標的值，進行上報。

2.根據權利要求1所述的一種數據質量稽核動態擴展的方法，其特征在于，S01中所述的數據源具有可拓展性，具體拓展步驟如下：

S011：定義數據源接入的trait類，加載的數據源繼承trait類，實現trait類的抽象方法，讀取每個數據源的數據并轉換為Spark的Dataset類型；

S012：將實現步驟S011的代碼進行打包并生成一個目錄，目錄名為通過type指定的名稱；

S013：將步驟S012生成jar包的數據源目錄統一存放在一個固定的控件目錄下，數據質量稽核的業務在配置文件中進行配置；

S014：讀取配置文件中的source模塊，對配置文件進行遍歷，根據type定義的數據源名稱，加載控件目錄下在數據源子目錄的jar包，創建數據源控件的實例，根據數據源控件讀取配置，生成每個數據源的Dataset，并將每個數據源生成的Dataset注冊為表。

3.根據權利要求2所述的一種數據質量稽核動態擴展的方法，其特征在于，S012中所述的配置文件中的source模塊配置了多個數據源。

4.根據權利要求1所述的一種數據質量稽核動態擴展的方法，其特征在于，所述的S02的具體步驟為：

S021：trait類定義四個基礎指標定義的流程：讀取基礎指標控件的配置、檢查配置、預處理、生成基礎指標的Dataset；

S022：根據需求自行控制實現抽象的方法、數據稽核的邏輯及每個基礎指標控件的配置項，并將代碼進行打包，生成一個目錄名為通過type指定名稱的目錄，該目錄存放基礎指標控件相關的jar包；

S023：將生成jar包的基礎控件目錄統一存放在固定的控件目錄下，數據質量稽核的業務在配置文件中，進行配置；

S024：讀取配置文件中的basicKpi模塊，遍歷所有的數據質量稽核控件，針對每個數據質量稽核控件，根據type的值，匹配控件目錄下的子目錄，加載子目錄下的jar包，生成數據質量稽核控件的實例。

5.根據權利要求4所述的一種數據質量稽核動態擴展的方法，其特征在于，S021中所述的基礎指標的Dataset有且只能返回4個字段：數據稽核對象、指標名稱、指標值和指標描述。

6.根據權利要求4所述的一種數據質量稽核動態擴展的方法，其特征在于，S023中所述的配置文件中的basicKpi模塊配置了多個數據質量稽核的控件。

7.根據權利要求1所述的一種數據質量稽核動態擴展的方法，其特征在于，所述的S04的具體步驟為：

S041：配置Prometheus數據格式的模板，在模板里配置基礎指標和計算指標的編碼，并根據基礎指標和計算指標，生成數據上報的條件，根據基礎指標和計算指標，配置數據上報的條件；

S042：在數據質量稽核任務運行時，將滿足上報條件的數據的基礎指標和計算指標的編碼替換為指標的值并上報至Prometheus；

S043：將數據稽核模板生成的Prometheus監控指標寫入PushGateway；

S044：Prometheus采用定時Pull模式從PushGateway采集Prometheus的監控指標數據；

S045：Prometheus根據采集的數據，基于Prom?QL創建告警規則，如果滿足Prom?QL定義的規則，則會產生一條告警并告知工作人員。