[發明專利]一種基于大數據的數據治理方法和系統

在審

• 申請號: 202110796113.7
• 申請日: 2021-07-14
• 公開（公告）號: CN113535698A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 宋寧寧;王曉軍;劉增友
• 申請（專利權）人: 山東木丁信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 濟南鼎信專利商標代理事務所(普通合伙) 37245
• 代理人: 李雙

本發明適用于計算機領域，提供了一種基于大數據的數據治理方法和系統，通過對數據錄入端上傳的初始數據進行監控，并且按照數據錄入標準對初始數據的質量進行質檢，能夠將無用的錯誤的數據排除，避免無效數據占用存儲空間，保證數據質量；然后根據質檢結果對每一個數據錄入端進行數據質量評分；根據數據質量評分對每一個數據錄入端進行績效考核。能夠實現對數據錄入端人員的監管和約束，進一步保證了數據錄入端上傳的初始數據的質量，保證數據的一致性，從而解決了企業信息化發展過程中對于數據缺乏有效的管理機制，導致數據質量殘次不齊，數據信息流通受阻的問題。

技術領域

本發明屬于計算機領域，尤其涉及一種基于大數據的數據治理方法和系統。

背景技術

數據已成為企業的核心資產和重要的生產要素。在數據驅動的信息化時代，企業只有管理好核心業務數據，才能從中優化產品、開拓市場新渠道，打造企業核心競爭力。

但在探索與數據相關的開發技術、應用場景和商業模式時，并非所有項目都能取得預期效果，許多預期需求無法實現，重要原因之一就是數據質量因素導致的。而數據治理正是企業管理和提高數據質量的重要手段。加強數據治理已成為企業提升管理能力的重要任務。所有為提高數據質量而開展的業務、技術和管理活動都屬于數據治理范疇。

目前各行業的信息化發展和建設水平并不均衡，對于部分行業，信息化還處于剛剛起步的階段。但我們可以從金融行業、通訊行業、地產行業、傳統制造業以及農業領域總結出規律：企業信息化大致經歷了初期的煙囪式系統建設、中期的集成式系統建設和后期的數據管理式系統建設三個大階段，也由此導致了數據質量殘次不齊，數據信息流通受阻，缺乏有效的管理機制等問題。

發明內容

本發明實施例提供一種基于大數據的數據治理方法和系統，旨在解決企業信息化發展過程中對于數據缺乏有效的管理機制，導致數據質量殘次不齊，數據信息流通受阻的問題。

本發明實施例是這樣實現的，一方面，一種基于大數據的數據治理方法包括：

獲取數據錄入端上傳的初始數據；

按照數據錄入標準對初始數據的質量進行質檢；

根據質檢結果對每一個數據錄入端進行數據質量評分；

根據數據質量評分對每一個數據錄入端進行績效考核。

作為本發明的一種改進方案：所述按照數據錄入標準對初始數據的質量進行質檢具體包括：

將初始數據樣式與數據錄入標準樣式進行一一對比，判斷初始數據樣式是否符合數據錄入標準樣式；

當初始數據樣式不符合數據錄入標準樣式時，向數據錄入端反饋數據質量問題，并督促數據錄入端的使用者及時整改問題；

當初始數據樣式符合數據錄入標準樣式時，對初始數據進行保存。

作為本發明的又一種改進方案：所述將初始數據樣式與數據錄入標準樣式進行一一對比，判斷初始數據樣式是否符合數據錄入標準樣式具體包括：

根據數據錄入標準樣式中必要數據所在位置質檢初始數據樣式的相應位置，判斷初始數據樣式中必要數據所在位置處是否存在數據；

當初始數據樣式中必要數據所在位置處不存在數據，說明初始數據在形式上不符合要求，直接將該初始數據進行刪除，并向數據錄入端反饋數據質量問題，并督促數據錄入端的使用者及時整改問題；

當初始數據樣式中必要數據所在位置處存在數據，說明初始數據在形式上符合要求，并判斷必要數據的大小是否在設定值域內；

當必要數據的大小不在設定值域內時，說明初始數據的數值不符合要求，直接將該初始數據的問題反饋給數據錄入端，并督促數據錄入端的使用者及時整改問題；