[發明專利]一種數據治理系統

在審

• 申請號: 201811201110.9
• 申請日: 2018-10-16
• 公開（公告）號: CN109299083A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 楊訸;劉衛衛;王曉慧;溫朝宇;佟鵬;王新剛
• 申請（專利權）人: 全球能源互聯網研究院有限公司;國網上海市電力公司;國網重慶市電力公司;國家電網有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/23
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李博洋

本發明提供了一種數據治理系統，包括：權限管理模塊，用于對用戶的身份信息進行驗證，并根據驗證結果授予用戶操作權限；數據源管理模塊，用于從數據源數據庫中獲取待治理數據，并將待治理數據發送至數據治理模塊；任務構建模塊，用于獲取用戶輸入的數據治理要求，根據數據治理要求及用戶操作權限為待治理數據構建數據治理任務；數據治理模塊，用于接收待治理數據，并根據數據治理任務對待治理數據進行數據治理，生成治理結果。實現了對海量數據的多樣化數據治理的功能，用戶僅需要簡單操作就可以自動進行數據治理任務，具有適用范圍廣，數據治理方式更為靈活，數據治理時間短的特點，從而降低了工作人員的工作量，降低成本，提高數據治理效率。

技術領域

本發明涉及計算機數據處理技術領域，具體涉及一種數據治理系統。

背景技術

隨著信息技術的發展，使得眾多的信息系統積累了海量的數據，對這些海量的數據來進行準確定位、分析、優化等操作可使得這些數據更好的服務于各類業務需求，可是很多數據并不是完全準確或規范的，這就增加了對數據的挖掘分析的難度，可能造成資源浪費、決策失誤等。通常采用數據治理的方法對臟數據進行處理，得到標準干凈數據，以供數據統計、數據挖掘等使用。

現有的很多數據治理方法需要人工的方式進行檢查和更改數據，或者需要編寫相應的計算機程序腳本對數據進行治理，以獲得符合要求的數據。這種通過人工檢查的方式耗時耗力，效率低下，當數據量龐大時，人工操作是無法滿足數據治理需求的；而編寫的計算機程序只能針對特定的臟數據的特定規則，不靈活，針對不同的數據源就需要編寫不同的程序或腳本，工作量大，效率較低。

發明內容

本發明實施例提供了一種數據治理系統，以克服現有技術中采用人工方式進行數據治理方法耗時耗力，效率低下，不能滿足大量數據的治理要求的問題；并且克服編寫計算機程序進行數據治理的方式，適用范圍小、不靈活、工作量大、效率低等問題。

本發明實施例提供了一種數據治理系統，包括：權限管理模塊、數據源管理模塊、任務構建模塊及數據治理模塊，其中，所述權限管理模塊對用戶的身份信息進行驗證，并根據驗證結果授予用戶操作權限；所述數據源管理模塊從數據源數據庫中獲取待治理數據，并將所述待治理數據發送至數據治理模塊；所述任務構建模塊獲取用戶輸入的數據治理要求，根據所述數據治理要求及所述用戶操作權限為所述待治理數據構建數據治理任務；所述數據治理模塊接收所述待治理數據，并根據所述數據治理任務對所述待治理數據進行數據治理，生成治理結果。

可選地，所述任務構建模塊包括：治理模型選擇子模塊、治理模型構建子模塊、治理任務構建子模塊及存儲子模塊，其中，所述存儲子模塊用于存儲多個預設治理模型；所述治理模型構建子模塊根據所述數據治理要求構建新治理模型；所述治理模型選擇子模塊根據所述數據治理要求從所述新治理模型及所述多個預設治理模型中選擇執行治理任務的各治理模型；所述治理任務構建子模塊根據所述數據治理要求對所述執行治理任務的各治理模型生成所述數據治理任務。

可選地，所述數據治理任務包括：所述執行治理任務的各治理模型的執行順序列表及執行時間信息。

可選地，所述數據治理模塊包括：預處理子模塊，用于接收所述待治理數據，并將所述待治理數據進行格式轉換，生成標準數據；數據治理執行子模塊，用于根據所述執行順序列表及所述執行時間信息對所述標準數據進行數據治理，生成所述治理結果。

可選地，所述數據治理系統還包括：治理日志生成模塊，根據所述數據治理模塊對所述待治理數據的數據治理過程進行記錄，生成數據治理日志。

可選地，所述數據治理日志包括：治理任務信息、治理時長信息、治理結果信息。

可選地，所述數據治理系統還包括：治理評價模塊，根據所述數據治理要求對所述治理結果進行評價，生成評價結果；當所述評價結果為合格時，所述數據治理模塊將所述治理結果發送至用戶端。