[發明專利]一種數據治理方法、系統、終端設備及存儲介質

在審

• 申請號: 202011368848.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112395325A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 許可
• 申請（專利權）人: 廣州光點信息科技有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2455;G06F16/27;G06F16/25;G06F16/22;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發明公開了一種數據治理方法、系統、終端設備及存儲介質，所述方法包括通過數據中臺的數據適配接口連通若干個異構數據源，采集待處理的業務數據；根據待處理的業務數據構建生成為對應的數據模型；在數據中臺通過用戶預設的數據標準定義基礎信息后，根據業務條件建立對應的數據元以及數據元標準規則；將數據模型中的所有字段級別的元數據與數據標準元規則進行一一綁定；將數據模型中的所有元數據根據所綁定的數據元標準規則進行匹配校驗，得到對應的質量評估結果。本發明能夠通過定義質量規則和映射質量規則，自動地批量完成數據治理，提高數據治理的效率和可靠性，減少開發人員的工作量和人工成本，避免造成時間和資源的浪費。

技術領域

本發明涉及數據處理技術領域，尤其是涉及一種數據治理方法、系統、終端設備及存儲介質。

背景技術

隨著大數據技術的快速發展，越來越多的企業開始關注自身的數據問題，開始在企業數據管理和數據規劃中使用一定手段進行數據管控，實現大數據的治理，得到治理結果，相關用戶可以根據治理結果進行相關的數據優化調整操作。

現有基于結構化數據的數據治理方法的步驟主要包括輸入原始數據、對原始數據進行治理、治理后的數據融合和輸出結果數據。通過相關數據治理開發人員按照治理規則手工開發數據治理腳本，然后通過該治理腳本對數據進行治理。

但是，在對現有技術的研究與實踐的過程中，本發明的發明人發現，現有技術由于需要相關開發人員通過人工方式開發相應的數據治理腳本，不僅增加了開發人員的工作量和人工成本，數據治理效率低下，而且容易產生報錯的問題；在數據治理過程中，現有的數據治理方式在原始數據和目標數據一般為單映射(1對1映射)，但在面對多對多映射時，需要進行映射和規則轉換的工作量就會根據原始表數據表的數量而大幅增加，從而造成巨大的時間和資源浪費；同時，現有技術在根據數據治理結果對數據進行校驗或調整時，質量規則眾多且標準不一，不利于數據的統一校驗，且效率較低。因此，亟需能夠克服至少上述一種缺陷的數據治理方法。

發明內容

本發明實施例所要解決的技術問題在于，提供一種數據治理方法，能夠自動進行批量數據治理。

為解決上述問題，本發明的一個實施例提供了一種數據治理方法，至少包括如下步驟：

通過數據中臺的數據適配接口連通若干個異構數據源，并采集待處理的業務數據；

根據所述待處理的業務數據構建生成為對應的數據模型；

在數據中臺通過用戶預設的數據標準定義基礎信息后，根據業務條件建立對應的數據元以及數據元標準規則；

將所述數據模型中的所有字段級別的元數據與所述數據標準元規則進行一一對應綁定；

將所述數據模型中的每一行每一列的元數據根據所綁定的數據元標準規則進行匹配校驗，得到對應的質量評估結果。

進一步地，所述數據治理方法，還包括：

在采集待處理的業務數據之后，對所述待處理的業務數據進行數據轉換、數據清洗和數據融合。

進一步地，所述數據元標準規則，包括基礎規則、數據格式規則、數據范圍規則和表達式規則。

進一步地，所述構建生成為對應的數據模型，具體包括：

通過庫表復制的方式選擇源庫中的表模型，以1:1比例同步至新的數據模型；

通過數據中臺的SQL腳本的執行結果生成數據模型的結構；

通過文件數據集的方式成數據模型的結構；

根據數據中臺預先設計的業務流程的最終輸出為數據模型的結構。