[發明專利]一種引入數據倉庫構建技術的數據處理系統及方法

在審

• 申請號: 202011479233.6
• 申請日: 2020-12-16
• 公開（公告）號: CN112231304A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 郁強;李開民;李圣權
• 申請（專利權）人: 城云科技（中國）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2458;G06F16/26;G06F16/28
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 李珍珍

1.一種引入數據倉庫構建技術的數據處理系統，其特征在于：包括數據源單元（100）、數據處理單元（200）、數據查詢統計分析單元（300）、元數據管理單元（400）和管理中心單元（500）；

所述數據源單元（100）用于建立數據庫文件、平面文件、html文件及xml文件；

所述數據處理單元（200）用于處理所述數據源單元（100）中的數據；

所述數據查詢統計分析單元（300）用于對信息數據進行統一的記錄和分析；

所述元數據管理單元（400）用于存儲所述數據查詢統計分析單元（300）內的數據；

所述元數據管理單元（400）包括數據元數據模塊（410）和過程元數據模塊（420）；

所述數據元數據模塊（410）用于檢索、存取和理解源信息；

所述過程元數據模塊（420）用于查找、評估、存取和管理數據；

所述管理中心單元（500）用于整個系統的管理和維護，所述管理中心單元（500）包括權限控制模塊（510）、性能管理模塊（520）和故障恢復模塊（530）；

所述權限控制模塊（510）用于設置用戶登錄的權限驗證；

所述性能管理模塊（520）用于設備的性能和網絡單元進行評估；

所述故障恢復模塊（530）用于自動創建還原點，使系統回到工作狀態。

2.根據權利要求1所述的引入數據倉庫構建技術的數據處理系統，其特征在于：所述數據源單元（100）包括聯機事務處理模塊（110）、遺留數據模塊（120）、內部辦公數據模塊（130）和外部數據模塊（140）；

所述聯機事務處理模塊（110）用于反映企業日常運作情況；

所述遺留數據模塊（120）用于數據的挖掘和趨勢分析；

所述內部辦公數據模塊（130）用于對企業辦公的數據分析；

所述外部數據模塊（140）用于記錄人口統計信息、競爭對手情報信息、問卷調查、xml文檔的數據；

所述數據處理單元（200）包括數據提取模塊（210）、數據驗證模塊（220）、數據清理模塊（230）、數據整合模塊（240）、數據聚集模塊（250）和數據裝載模塊（260）；

所述數據提取模塊（210）用于捕獲數據；

所述數據驗證模塊（220）用于對所述數據源單元（100）中的數據進行檢測，包括丟失的數據恢復、模糊的數據轉換和業務操作的數據問題，解決的數據質量問題；

所述數據清理模塊（230）用于將所述數據驗證模塊（220）中檢測出的臟數據進行清除；

所述數據整合模塊（240）用于將多個數據整合成統一的數據進行分析；

所述數據聚集模塊（250）用于收集和總結信息數據；

所述數據裝載模塊（260）用于將轉換好的數據保存起來，使不好的數據產生錯誤報告；

所述數據整合模塊（240）中數值型的數據度量的計算公式如下：

其中n是元組個數，和分別是A和B的平均值，σ_A和σ_B分別是A和B的標準差；所述數據整合模塊（240）中非數值型的數據度量的計算公式如下：

其中P(A)、P(B)、P(A∪B)分別為屬性A_I、B_I、A∪B在屬性集合I={i₁，i₂，i₃?，i_m}中出現的概率。

3.根據權利要求1所述的引入數據倉庫構建技術的數據處理系統，其特征在于：所述數據查詢統計分析單元（300）中的信息數據包括市場總體情況、市場結構、市場動態、投資結構、上市公司財務情況、市場指標和宏觀經濟指標。