[發(fā)明專利]用于驗證數(shù)據的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201010138994.5
• 申請日: 2010-03-31
• 公開（公告）號: CN102207940A
• 公開（公告）日: 2011-10-05
• 發(fā)明（設計）人: 高雪峰;李學朝;辛新;傅曉靜
• 申請（專利權）人: 國際商業(yè)機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;李崢宇

技術領域

本發(fā)明涉及數(shù)據處理技術，尤其涉及用于驗證數(shù)據的方法和系統(tǒng)。

背景技術

隨著信息技術的發(fā)展，越來越多的人們開始利用商業(yè)智能的相關技術去分析處理企業(yè)的數(shù)據，為決策者提供有力的幫助。隨著數(shù)據庫技術的發(fā)展和應用，數(shù)據庫存儲的數(shù)據量從20世紀80年代的兆(M)字節(jié)及千兆(G)字節(jié)過渡到現(xiàn)在的兆兆(T)字節(jié)和千兆兆(P)字節(jié)。同時，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的數(shù)據進行數(shù)據分析和信息綜合，事務處理型關系數(shù)據庫系統(tǒng)已不能全部滿足這一要求。而操作型應用和分析型應用，在性能上又難以兩全，為此人們常常在關系數(shù)據庫中放寬了對冗余的限制，引入了統(tǒng)計及綜合數(shù)據。但這些統(tǒng)計綜合數(shù)據的應用邏輯是分散并且雜亂的、非系統(tǒng)化的，因此分析功能有限，不靈活，維護困難。不少軟件廠商采取了發(fā)展其前端產品來彌補關系數(shù)據庫管理系統(tǒng)支持的不足，通過專門的數(shù)據綜合引擎，輔之以更加直觀的數(shù)據訪問界面，力圖統(tǒng)一分散的公共應用邏輯，在短時間內響應非數(shù)據處理專業(yè)人員的復雜查詢要求。

商業(yè)智能(Business?Intelligence：簡稱BI)技術處理的是大量的數(shù)據，反映的是數(shù)據中的信息和知識。商業(yè)智能是指從企業(yè)現(xiàn)有的數(shù)據中提取有價值的數(shù)據，以幫助企業(yè)做出明智的業(yè)務經營決策的相關技術、應用等。數(shù)據包括來自企業(yè)自身業(yè)務系統(tǒng)以及企業(yè)所處的其他外部環(huán)境中的各種數(shù)據。為了將數(shù)據轉化為知識，通常將數(shù)據源中的數(shù)據通過ETL(Extract-Transform-Load的縮寫，即數(shù)據抽取、轉換、裝載的過程)模型注入到數(shù)據倉庫當中。然后，通過OLAP(On-Line?Analysis?Processing的縮寫，即聯(lián)機分析處理)模型根據數(shù)據倉庫中的數(shù)據創(chuàng)建數(shù)據立方體，以便用于數(shù)據挖掘來形成報表報告和數(shù)據分析報告。

但是，由于數(shù)據源多種多樣，ETL模型以及OLAP模型的處理涉及大量的數(shù)據，有可能在進行商業(yè)智能的數(shù)據處理過程中發(fā)生錯誤。已有技術通過檢查生成的報告中的數(shù)據，與應用系統(tǒng)中的原始數(shù)據進行直接比較來確定數(shù)據的準確性。但是，報告中的數(shù)據量太大，一般無法進行全面的比較。此外，即使發(fā)現(xiàn)報告中的數(shù)據與應用系統(tǒng)中的原始數(shù)據不一致，也無法確定問題出在哪里。全面檢測模型和數(shù)據倉庫中的數(shù)據，工作量非常大，經常需要花費大量的時間來確定問題出在哪里。

發(fā)明內容

鑒于已有技術的不足，根據本發(fā)明的一個實施例，提供了一種用于驗證數(shù)據的方法，其中，所述數(shù)據來自于對源數(shù)據進行抽取轉換加載ETL模型變換和聯(lián)機分析處理OLAP模型變換所生成的數(shù)據立方體，所述方法包括：

根據數(shù)據立方體查詢條件，從數(shù)據立方體生成報告多維數(shù)據集；

根據與所述數(shù)據立方體查詢條件相應的源數(shù)據查詢條件，從源數(shù)據生成參考多維數(shù)據集；以及

根據所述參考多維數(shù)據集與所述報告多維數(shù)據集之間的匹配關系進行數(shù)據驗證。

根據本發(fā)明的另一個實施例，還提供了一種用于驗證數(shù)據的方法，其中，所述數(shù)據來自于對源數(shù)據進行抽取轉換加載ETL模型變換所生成的數(shù)據倉庫，包括：

根據預定的數(shù)據倉庫查詢條件，從數(shù)據倉庫生成報告多維數(shù)據集；

根據與所述數(shù)據倉庫查詢條件相應的源數(shù)據查詢條件，從源數(shù)據生成參考多維數(shù)據集；以及

根據所述參考多維數(shù)據集與所述報告多維數(shù)據集之間的匹配關系進行數(shù)據驗證。

根據本發(fā)明的另一個實施例，還提供了一種用于驗證數(shù)據的系統(tǒng)，其中，所述數(shù)據來自于對源數(shù)據進行抽取轉換加載ETL模型變換和聯(lián)機分析處理OLAP模型變換所生成的數(shù)據立方體，所述方法包括：

報告多維數(shù)據集生成裝置，用于根據數(shù)據立方體查詢條件，從數(shù)據立方體生成報告多維數(shù)據集；

參考多維數(shù)據集生成裝置，用于根據與所述數(shù)據立方體查詢條件相應的源數(shù)據查詢條件，從源數(shù)據生成參考多維數(shù)據集；以及

驗證裝置，用于根據所述參考多維數(shù)據集與所述報告多維數(shù)據集之間的匹配關系進行數(shù)據驗證。

根據本發(fā)明的另一個實施例，還提供了一種用于驗證數(shù)據的系統(tǒng)，其中，所述數(shù)據來自于對源數(shù)據進行抽取轉換加載ETL模型變換所生成的數(shù)據倉庫，包括：

報告多維數(shù)據集生成裝置，用于根據預定的數(shù)據倉庫查詢條件，從數(shù)據倉庫生成報告多維數(shù)據集；

參考多維數(shù)據集生成裝置，用于根據與所述數(shù)據倉庫查詢條件相應的源數(shù)據查詢條件，從源數(shù)據生成參考多維數(shù)據集；以及

驗證裝置，用于根據所述參考多維數(shù)據集與所述報告多維數(shù)據集之間的匹配關系進行數(shù)據驗證。