[發明專利]一種數據處理方法、裝置及應用其的計算機設備

有效

• 申請號: 201710530817.3
• 申請日: 2017-07-03
• 公開（公告）號: CN107330080B
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 汪浩;胡添翼
• 申請（專利權）人: 北京希嘉創智教育科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

本發明提供一種數據處理方法、裝置及應用其的計算機設備，其中，該數據處理裝置包括：數據對象獲取模塊，用于通過預設接口獲取當前數據源的數據對象；元數據管理模塊，用于獲取數據對象的元數據，并根據元數據記錄數據對象的變更情況，其中，元數據包括數據對象的以下至少之一：結構信息、字段描述信息、版本信息；數據資產生成模塊，用于根據數據對象的內容對數據對象進行分類，并根據分類結果生成數據資產信息；以及數據質量生成模塊，用于根據預定規則檢測數據對象的內容，并根據檢測結果生成數據質量報告。通過本發明，可以提高數據管理的效率，便于用戶更好地管理數據資產。

技術領域

本發明涉及大數據處理領域，具體涉及一種數據處理方法、裝置及應用其的計算機設備。

背景技術

在當前大數據分析應用中，數據治理是基礎工作，基于數據治理當前有一套相對完整的方法論，比如國際標準化組織DAMA(Data Management Association，數據管理協議)發布的數據治理體系架構。

在數據治理過程中，不同業務系統產生的數據需要進行抽取、清晰、轉換以及標準化，在這些步驟中會產生大量的過程信息和結果信息。例如，數據的結構、描述、數據標準的定義、執行以及數據質量的監控、數據任務執行狀態的監控及管理。目前常用的數據治理方法基本都有各自相對獨立的元數據產品、主數據產品、數據同步監控產品，結合這幾類產品大致上能夠完成數據治理。然而，由于各功能模塊相對獨立，實現一個簡單的功能和流程需要橫跨幾個系統，從而導致了工具使用成本相對較高，系統負載比較重，數據管理效率較低，不利于用戶管理數據資產。

發明內容

有鑒于此,本發明提供一種數據處理方法、裝置及應用其的計算機設備，以解決上述提及的至少一個問題。

根據本發明的一個方面，提供了一種數據處理裝置，該裝置包括：數據對象獲取模塊，用于通過預設接口獲取當前數據源的數據對象；元數據管理模塊，用于獲取數據對象的元數據，并根據元數據記錄數據對象的變更情況，其中，元數據包括數據對象的以下至少之一：結構信息、字段描述信息、版本信息；數據資產生成模塊，用于根據數據對象的內容對數據對象進行分類，并根據分類結果生成數據資產信息；以及數據質量生成模塊，用于根據預定規則檢測數據對象的內容，并根據檢測結果生成數據質量報告。

根據本發明的另一個方面，提供了一種數據處理方法，該方法包括：通過預設接口獲取數據源中的數據對象；獲取數據對象的元數據，并根據元數據記錄數據對象的變更情況，其中，元數據包括數據對象的以下至少之一：結構信息、字段描述信息、版本信息；根據數據對象的內容對數據對象進行分類，并根據分類結果生成數據資產信息；以及根據預定規則檢測數據對象的內容，并根據檢測結果生成數據質量報告。

根據本發明的又一個方面，提供了計算機設備，包括存儲器、處理器及存儲在該存儲器上并可在處理器上運行的計算機程序，該處理器執行計算機程序時實現上述方法。

根據本發明的還有一個方面，提供了計算機可讀存儲介質，該計算機可讀存儲介質存儲有執行上述方法的計算機程序。

通過本發明提供的技術方案，可以提高數據管理的效率，便于用戶更好地管理數據資產。

附圖說明

通過以下參照附圖對本發明實施例的描述，本發明的上述以及其它目的、特征和優點將更為清楚，在附圖中：

圖1是根據本發明實施例的數據處理裝置的結構框圖；

圖2是根據本發明實施例的數據處理裝置的具體結構框圖；

圖3是根據本發明實施例的數據治理系統的具體結構框圖；

圖4是根據本發明實施例的教學數據治理示意圖；

圖5是根據本發明實施例的數據質量管理示意圖；