[發明專利]一種基于GP集群提高數據集市的運算方法及裝置

在審

• 申請號: 202011603682.7
• 申請日: 2020-12-29
• 公開（公告）號: CN112732686A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 林濤;羅才華;陳華榮;梁銳鋒;肖維
• 申請（專利權）人: 廣東省電信規劃設計院有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/28
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 肖宇揚

本發明涉及數據集市技術領域，尤其為一種基于GP集群提高數據集市的運算方法及裝置，包括以下方法步驟：S1，數據質量問題解決：信息問題域、流程問題域、技術問題域和管理問題域；S2，數據質量管理：管理功能、數據質量檢查稽核、數據質量評估監控和數據質量基礎管理；S3，數據倉庫元數據管理：數據源元數據、數據倉庫元數據、報表元數據、接口文件格式元數據、商業元數據和其他元數據，通過數據質量問題解決、數據質量管理和數據倉庫元數據管理，能夠提高對數據集市的信息問題域、流程問題域、技術問題域和管理問題域進行解決，提高對管理功能、數據質量檢查稽核、數據質量評估監控和數據質量基礎管理，能夠更好對數據集市數據處理和管理。

技術領域

本發明涉及數據集市技術領域，具體為一種基于GP集群提高數據集市的運算方法及裝置。

背景技術

數據集市也叫數據市場，數據集市就是滿足特定的部門或者用戶的需求，按照多維的方式進行存儲，包括定義維度、需要計算的指標、維度的層次等，生成面向決策分析需求的數據立方體。

從范圍上來說，數據是從企業范圍的數據庫、數據倉庫，或者是更加專業的數據倉庫中抽取出來的。數據中心的重點就在于它迎合了專業用戶群體的特殊需求，在分析、內容、表現，以及易用方面。數據中心的用戶希望數據是由他們熟悉的術語表現的。

為了能夠更好對數據集市數據處理和管理，因此需要一種基于GP集群提高數據集市的運算方法及裝置。

發明內容

本發明的目的在于提供一種基于GP集群提高數據集市的運算方法及裝置，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種基于GP集群提高數據集市的運算方法及裝置，包括以下方法步驟：

S1，數據質量問題解決：信息問題域、流程問題域、技術問題域和管理問題域；

S2，數據質量管理：管理功能、數據質量檢查稽核、數據質量評估監控和數據質量基礎管理；

S3，數據倉庫元數據管理：數據源元數據、ETL規則元數據、數據倉庫元數據、報表元數據、接口文件格式元數據、商業元數據和其他元數據。

優選的，所述S1信息問題，數據采集點：一致性、唯一性、完整性、合法性、準確性；企業模型：統一數據管理、統一企業數據模型；元數據管控：業務元數據、技術元數據；所述技術問題，數據獲取：數據遲延、數據校驗和數據檢查；數據傳遞：及時性、文件傳輸方式、漏傳傳輸技術、網絡傳輸過程不可靠；數據使用：展示周期、展示工具和展示方式；數據加載：數據清洗算法、數據轉換算法和數據加載算法；數據維護：數據備份、恢復，數據存儲能力、維護驗證機制和人為調整數據。

優選的，所述S1流程問題，數據檢查流程：數據評估、數據檢查、檢查數據完善、檢查規則設定；數據稽核流程：稽核數據完善和稽核規則；數據維護流程：變更維護流程、數據測試流程、錯誤數據維護流程和人為調整數據流程；數據獲取流程：數據轉換、數據加載、數據獲取和數據清洗。

優選的，所述S1管理問題，管理制度：職責、責任人、工作優先級和目標；管理組織架構：崗位設置和管理組織架構；激勵：反饋渠道、反饋機制、獎懲制度的執行和獎懲制度；培訓：培訓制度、培訓計劃、培訓內容、培訓時間和培訓資金。

優選的，所述管理功能包括數據質量任務派發、數據質量組織管理、數據質量角色管理、數據質量權限管理、數據質量工單管理和數據處理情況考核；所述數據質量檢查稽核：數據屬性檢查、數據屬性關系檢查、數據表關系檢查、數據對比稽核、異常處理、數據對比展現；所述數據質量評估監控：數據質量評估、數據質量分析、數據質量告警、數據質量異常跟蹤、數據質量監控和數據質量修正跟蹤；所述數據質量基礎管理：規則配置、算法配置、統一指標定義、流程配置、異常流程跟蹤和接口定義。