[發明專利]一種OLAP多維分析和數據挖掘系統

在審

• 申請號: 201710966150.1
• 申請日: 2017-10-17
• 公開（公告）號: CN107704608A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 竇志成;謝峰;肖超峰;曾澤群
• 申請（專利權）人: 北京一覽群智數據科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中創陽光知識產權代理有限責任公司11003
• 代理人: 尹振啟

技術領域

本發明涉及一種數據分析和挖掘系統，尤其涉及一種OLAP多維分析和數據挖掘系統。

背景技術

現有技術中的數據分析系統，例如OLAP，其全稱為在線聯機分析處理，是一種針對多維數據分析查詢的解決方案，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數據的目的。然而，如圖1所示，現有的OLAP多維分析系統主要由：數據層、應用層和表現層三層結構組成。由于缺乏接口層，系統是封閉的，不能對外提供API接口，導致第三方系統無法與之對接分享數據。

數據層：從常用的關系型數據庫，如MySQL，Oracle、SQL Server等數據庫中提取數據，但是對于超大規模數據集和Hadoop平臺的支持有限。

應用層：通過數據建模，提取數據層的數據，并為OLAP查詢引擎提供服務。在數據建模時，一般使用開源建模工具Workbench，但是過于復雜的操作流程影響了用戶的體驗，降低了使用效率。由于數據層的限制，應用層在實現數據的查詢功能時，對中小規模的數據能夠做到即時的響應，但是對數據庫中存儲的海量數據和大數據平臺中存儲的數據，難以保證查詢的實時性。其次，OLAP查詢引擎一般使用Mondrian，它用MDX語言實現查詢，只支持從關系型數據庫中讀取數據，但是對大數據平臺缺少對接接口而且支持的聚合函數有限。此外，OLAP查詢引擎不具有對數據的深度分析和數據挖掘能力。

表現層：以圖表的形式對數據進行呈現，僅支持直方圖、折線圖、散點圖和餅圖等，面對數據的多樣性，不能對數據進行更加直觀的展示，如：地理位置信息等需要地圖類型圖表的支持。

發明內容

本發明提供一種OLAP多維分析和數據挖掘系統。該系統支持PB級別數據量的應用場景，能即時響應用戶請求，提供多數據源的對接、類型豐富的圖表展示、深度的數據分析和數據挖掘等功能；且具有可拖拽的交互式報表與查詢分析能力，還提供標準的SQL接口供第三方系統使用。

本發明提供的一種OLAP多維分析和數據挖掘系統，具有數據模型、分布式OLAP引擎、OLAP解析引擎、多維分析報表接口、數據挖掘接口和數據可視化工具，所述數據模型由可視化界面供用戶通過拖拽完成數據建模，具有統一的模型配置，系統自動進行模型適配，使數據模型配合內部其他引擎或工具調用；所述分布式OLAP引擎為OLAP系統提供多維數據模型預處理能力；所述OLAP解析引擎支持大數據平臺和關系型數據庫的多維度查詢解析引擎，將MDX語句解析為標準的SQL語言；所述多維分析報表接口和數據挖掘接口具有多維度的數據分析和數據挖掘功能，提供報表分析方法和數據挖掘算法模型；所述數據可視化工具為多維分析報表接口和數據挖掘接口中的報表分析和數據挖掘提供可視化服務,并提供可視化結果社交分享和圖表管理功能

附圖說明

圖1為本發明的OLAP多維分析系統的系統架構圖；

圖2為本發明的數據模型構建流程圖；

圖2-1為可視化拖拽的步驟；

圖2-2為數據源配置文件的格式抽取步驟；

圖3為本發明的OLAP解析引擎的工作流程圖；

圖4為本發明的多維分別報表接口的工作流程圖；

圖5為本發明的數據挖掘可支持的模型；

圖6為本發明的可視化工具可支持的圖表選擇類型。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。

如圖1所示為本發明提出的OLAP多維分析系統的系統架構圖，包括數據模型構建，分布式OLAP引擎，OLAP解析引擎，多維分析報表接口和數據挖掘接口，多維分析報表接口和數據挖掘接口，數據可視化工具。

分布式OLAP引擎包括元數據引擎、任務模塊、存儲模塊以及應用服務模塊等。

所述元數據管理工具是對保存在OLAP引擎當中的所有元數據進行管理，其中包括重要的cube元數據。其它全部組件的正常運作都需以元數據管理工具為基礎，包括cube的定義，星狀模型的定義、job的信息、job的輸出信息、維度的directory信息等等，元數據和cube都存儲在hbase中，存儲的格式是json字符串，除此之外，還可以選擇將元數據存儲在本地文件系統。