[發明專利]一種基于大數據的數據治理方法

在審

• 申請號: 202011488067.6
• 申請日: 2020-12-16
• 公開（公告）號: CN112231315A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 白文娟;裴芳
• 申請（專利權）人: 武漢凡松科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F16/28;G06F21/62;G06K9/62
• 代理公司: 武漢誠儒知識產權代理事務所(普通合伙) 42265
• 代理人: 邱琳

本發明提供了一種基于大數據的數據治理方法，包括現有數據評估、剖析、探查，形成文檔，進行實時維護和存儲，制定數據標準和計劃和實施數據清洗，搭建數據資產目錄，梳理接入數據；建立數據模型，優化數據分析，參考行業模型和基礎數據標準，在大數據平臺上搭建數據分類模型，然后在數據模型的基礎上進行數據整合。本發明可以通過一種數據處理方法將企業數據進行數據預處理、數據存儲與管理、計算處理、數據挖掘與分析、數據應用等步驟，能夠協調各種預處理操作以保證快速高效處理大量數據，并應用到統一的企業大數據平臺上，能夠滿足企業信息規劃的合理性與統籌性的需求，進一步輔助企業高層決策者為業務規劃提供有效的分析參考依據。

技術領域

本發明涉及一種基于大數據的數據治理方法，屬于數據治理技術領域。

背景技術

根據行業信息化發展的現狀，結合當今行業數據治理的要求，大型集團或政務管理部門現階段數據管理方面存在以下不足：（1）數據多頭管理，缺少專門對數據管理進行監督和控制的組織。信息系統的建設和管理職能分散在各部門，致使數據管理的職責分散，權責不明確。組織機構各部門關注數據的角度不一樣，缺少一個組織從全局的視角對數據進行管理，導致無法建立統一的數據管理規程、標準等，相應的數據管理監督措施無法得到落實。組織機構的數據考核體系也尚未建立，無法保障數據管理標準和規程的有效執行。（2）多系統分散建設，沒有規范統一的數據標準和數據模型。組織機構為應對迅速變化的市場和社會需求，逐步建立了各自的信息系統，各部門站在各自的立場生產、使用和管理數據，使得數據分散在不同的部門和信息系統中，缺乏統一的數據規劃、可信的數據來源和數據標準，導致數據不規范、不一致、冗余、無法共享等問題出現，組織機構各部門對數據的理解難以應用一致的語言來描述，導致理解不一致。（3）缺少統一的主數據，組織機構核心系統間的人員等主要信息并不是存儲在一個獨立的系統中，或者不是通過統一的業務管理流程在系統間維護。缺乏對集團公司或政務單位主數據的管理，就無法保障主數據在整個業務范圍內保持一致、完整和可控，導致業務數據正確性無法得到保障。（4）缺乏統一的集團型數據質量管理流程體系。當前現狀中數據質量管理主要由各組織部門分頭進行；跨局跨部門的數據質量溝通機制不完善；缺乏清晰的跨局跨部門的數據質量管控規范與標準，數據分析隨機性強，存在業務需求不清的現象，影響數據質量；數據的自動采集尚未全面實現，處理過程存在人為干預問題，很多部門存在數據質量管理人員不足、知識與經驗不夠、監管方式不全面等問題；缺乏完善的數據質量管控流程和系統支撐能力。

發明內容

為了解決現有技術的不足，本發明提供了一種基于大數據的數據治理方法，能夠實現海量數據采集、存儲、分布式計算、突發事件應對，具備對各種格式、類型的數據進行加工、處理、識別、解析的能力，為將來經營者能夠及時掌握全面的經營狀況，迅速做出科學決策提供平臺支持。

本發明為解決其技術問題所采用的技術方案是：提供了一種基于大數據的數據治理方法，包括以下步驟：

S1、對現有數據進行評估，梳理存在的問題；

S2、根據存在的問題對現有數據進行剖析和探查，形成貼合業務數據實際情況的文檔；

S3、利用數據復核處理方法和數據防泄漏放篡改方法對文檔中的數據進行實時維護；

S4、數據存儲：將文檔中的數據采取分級存儲的方式存儲，并對其中存儲備份的數據定期測試以確保數據的完整性和可訪問性；在對數據進行修改前，利用申請審批方式進行權限確認；

S5、搭建數據資產目錄，梳理接入數據；

S6、制定數據標準和計劃和實施數據清洗，數據資產目錄通過數據標準進行分類聚集，數據質量通過數據標準進行設定，數據安全通過數據標準進行分級，過濾不符合要求的數據，處理后的數據分為主數據和元數據，主數據的信息流為：任意業務觸發對主數據的改動時，將整合之后完整準確的主數據傳送給所有相關的應用系統，主數據作為決策支持的數據元；