[發明專利]一種基于分布式多維分析的數據分析系統及方法

有效

• 申請號: 201711252304.7
• 申請日: 2017-12-01
• 公開（公告）號: CN110019396B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 梁猛;黃健文;陳彬;章建功;孔亮
• 申請（專利權）人: 中國移動通信集團廣東有限公司;億陽信通股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開了一種基于分布式多維分析技術方案的數據分析系統及方法，所述系統包括如下模塊：數據收集模塊，數據預處理模塊，數據多維模型設計模塊，數據多維分析模塊，數據展現模塊。本發明的優點在于，本發明的系統及方法建設過程清晰，各層定制化能力強。能夠處理每日TB級數據量上億條包含用戶信息的上網日志詳單數據。轉化為維度模型和數據立方體后可以分析時間、地理、網元、用戶、終端、業務等維度的數據。維度模型的維度和指標清晰，便于業務人員使用。與分布式大數據處理方案比較，可以大大減少人工干預的匯總模型數量及數據處理任務的開發工作。

技術領域

本發明屬于商業智能數據處理技術領域，具體涉及一種基于分布式多維分析的數據分析系統及方法。

背景技術

隨著4G LTE網絡的不斷發展及移動互聯網應用的不斷深入，移動用戶對于網絡使用熱點已全面過渡到移動互聯網應用，數據業務已成為未來業務增長的核心驅動力。與此同時，因網絡覆蓋、網絡質量、計費規則、用戶使用習慣等原因導致的數據業務投訴也越來越多。

隨著數據庫技術的發展和應用，數據庫存儲的數據量從20世紀80年代的兆(M)字節及千兆(G)字節過渡到現在的兆兆(T)字節和千兆兆(P)字節，同時，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合，關系數據庫系統已不能全部滿足這一要求。在國外，不少軟件廠商采取了發展其前端產品來彌補關系數據庫管理系統支持的不足，力圖統一分散的公共應用邏輯，在短時間內響應非數據處理專業人員的復雜查詢要求。

聯機分析處理(OLAP)系統是數據倉庫系統最主要的應用，專門設計用于支持復雜的分析操作，側重對決策人員和高層管理人員的決策支持，可以根據分析人員的要求快速、靈活地進行大數據量的復雜查詢處理，并且以一種直觀而易懂的形式將查詢結果提供給決策人員，以便他們準確掌握企業的經營狀況，了解對象的需求，制定正確的方案。

現有技術中已經有不少基于OLAP的數據處理方法，例如申請號為201310381390.7的中國發明專利申請中，公開了一種基于OLAP多維分析的數據處理展現方法，其針對無法累加聚合的數據通過配置表的方式，以不同的維度組合方式對數據進行分類統計，最終得到不同維度組合下的指標數據，以OLAP方式實現數據在數據展現平臺上的多維分析應用。然而，在上述專利中，數據多維分析過程是通過人為地建立業務屬性組合配置信息表，并且根據該配置信息，讀取原數據報表，建立各類業務的屬性組合數據報表來實現的。該多維分析方法步驟繁雜，修改或擴展維度模型不夠靈活，而且在建立某一個業務的屬性組合配置信息表時，對該業務的所有屬性組合都進行了配置，其中包含了一些無意義的屬性組合，造成了資源的浪費，并且過程步驟較為復雜。

發明內容

為解決以上問題，本發明設計了一種基于分布式多維分析技術方案的數據分析系統以及建設和使用該系統的方法。

具體的，本發明公開了一種基于分布式多維分析技術方案的數據分析系統，包括順序連接的如下模塊：

數據收集模塊，用于收集運營商的原始數據，存儲于數據交換區，并將所述數據發送至數據預處理模塊；

數據預處理模塊，用于對所述數據進行批量清洗和模型預處理，存儲于數據倉庫層物理表，并將預處理后的數據發送至數據多維模型設計模塊；所述預處理包括對原始數據進行維度提取和事實表處理，得到數據庫表形式的事實表與維度表。所述預處理包括對原始詳單數據進行維度提取和事實表處理，得到數據庫表形式的事實表與維度表。本方法預先將詳單進行維度組合粒度匯總，計算業務指標，關聯擴展維度屬性，保證數據庫表可以被多維模型設計模塊直接使用；