[發明專利]一種數據治理方法、系統、終端設備及存儲介質

在審

• 申請號: 202011368848.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112395325A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 許可
• 申請（專利權）人: 廣州光點信息科技有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2455;G06F16/27;G06F16/25;G06F16/22;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

1.一種數據治理方法，其特征在于，至少包括如下步驟：

通過數據中臺的數據適配接口連通若干個異構數據源，并采集待處理的業務數據；

根據所述待處理的業務數據構建生成為對應的數據模型；

在數據中臺通過用戶預設的數據標準定義基礎信息后，根據業務條件建立對應的數據元以及數據元標準規則；

將所述數據模型中的所有字段級別的元數據與所述數據標準元規則進行一一對應綁定；

將所述數據模型中的每一行每一列的元數據根據所綁定的數據元標準規則進行匹配校驗，得到對應的質量評估結果。

2.根據權利要求1所述的數據治理方法，其特征在于，還包括：

在采集待處理的業務數據之后，對所述待處理的業務數據進行數據轉換、數據清洗和數據融合。

3.根據權利要求1所述的數據治理方法，其特征在于，所述數據元標準規則，包括基礎規則、數據格式規則、數據范圍規則和表達式規則。

4.根據權利要求1所述的數據治理方法，其特征在于，所述構建生成為對應的數據模型，具體包括：

通過庫表復制的方式選擇源庫中的表模型，以1:1比例同步至新的數據模型；

通過數據中臺的SQL腳本的執行結果生成數據模型的結構；

通過文件數據集的方式成數據模型的結構；

根據數據中臺預先設計的業務流程的最終輸出為數據模型的結構。

5.根據權利要求1所述的數據治理方法，其特征在于，所述質量評估結果，包括：數據表模型的基本概況信息、正異常數據占比、異常數據排行、元數據字段質量信息以及環比統計信息。

6.根據權利要求1所述的數據治理方法，其特征在于，還包括：

根據所述質量評估結果對所述待處理的業務數據進行數據修正。

7.根據權利要求1所述的數據治理方法，其特征在于，還包括：

在完成所述匹配校驗后，根據所述質量評估結果進行數據分析，并生成對應的報表。

8.一種數據治理系統，其特征在于，包括：

數據采集模塊，用于通過數據中臺的數據適配接口連通若干個異構數據源，并采集待處理的業務數據；

數據模型構建模塊，用于根據所述待處理的業務數據構建生成為對應的數據模型；

標準規則建立模塊，用于在數據中臺通過用戶預設的數據標準定義基礎信息后，根據業務條件建立對應的數據元以及數據元標準規則；

標準規則綁定模塊，用于綁定將所述數據模型中的所有字段級別的元數據與所述數據標準元規則進行一一對應綁定；

匹配校驗模塊，用于將所述數據模型中的每一行每一列的元數據根據所綁定的數據元標準規則進行匹配校驗，得到對應的質量評估結果。

9.一種數據治理的終端設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1至7中任意一項所述的數據治理方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行如權利要求1至7中任意一項所述的數據治理方法。