[發明專利]一種基于大數據建模的BI應用系統

在審

• 申請號: 201911360296.7
• 申請日: 2019-12-25
• 公開（公告）號: CN111126852A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 陸洋
• 申請（專利權）人: 江蘇三六五網絡股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F8/20;G06F16/21;G06F16/215;G06F16/2458
• 代理公司: 南京常青藤知識產權代理有限公司 32286
• 代理人: 仲暉

本發明提供一種基于大數據建模的BI應用系統，包括：數據采集存儲模塊，DPI、業務側、網元側數據通過文件接口方式發送到Flume?NG集群，將接收到的數據實時的通過hdfs方式匯聚到大數據分析平臺；數據清洗模塊，通過編寫HQL腳本對數據進行清洗、轉換，形成特征寬表；數據挖掘模塊，基于特征寬表的數據建模進行模型開發、模型評估和模型應用；分析結果發布，模型應用的結果集存儲在HBase中，數據的調用通過HBase API實現，數據的展現通過ECharts技術實現。本發明統一進行數據建模，建設集中的數據處理中心，提供強大的數據處理能力，保障系統的穩定運行，構建統一的BI應用中心，滿足業務需求，體現數據價值。

技術領域

本發明屬于大數據處理技術領域，具體涉及一種基于大數據建模的BI應用系統。

背景技術

商業智能(Business Intelligence，英文為簡寫為BI，即商業智能又名商務智能)的概念于1996年最早由加特納集團(Gartner Group)提出，加特納集團將商業智能定義為：商業智能描述了一系列的概念和方法，通過應用基于事實的支持系統來輔助商業決策的制定。商業智能技術提供使企業迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化為有用的信息，然后分發到企業各處。

BI不再僅僅是一種概念、一種技術，它更多的成為了一種業務層面的需求，為企業應用服務。BI管理的方法或產品的核心就是通過數據提取、整理、分析，將這些數據轉化為有用的信息，輔助企業制定商業決策?，F有技術中BI引用系統存在如下問題：脫離大數據體系，數據處理能力差，無法滿足業務需求，沒有統一的數據管理監控體系，無法保障系統的穩定運行。

發明內容

本發明的目的是提供一種基于大數據建模的BI應用系統，統一進行數據建模，建設集中的數據處理中心，提供強大的數據處理能力，保障系統的穩定運行，構建統一的BI應用中心，滿足業務需求，體現數據價值。

本發明提供了如下的技術方案：

一種基于大數據建模的BI應用系統，包括：

數據采集存儲模塊，DPI、業務側、網元側數據通過文件接口方式發送到Flume-NG集群，Flume-NG通過memory數據傳輸方式，將接收到的數據實時的通過hdfs方式匯聚到大數據分析平臺；

數據清洗模塊，通過編寫HQL腳本對數據進行清洗、轉換，形成特征寬表；

數據挖掘模塊，基于特征寬表的數據建模采用Spark R，調用聚類、分類等算法，進行模型開發、模型評估和模型應用；

分析結果發布，模型應用的結果集存儲在HBase中，首先在HBase中新建存儲結果集的HBase表，通過MapReduce生成HFile文件，然后通過Bulk Load方式入庫，數據的調用通過HBase API實現，數據的展現通過ECharts技術實現。

優選的，大數據分析平臺所要搭建的數據分析工具選擇的操作系統為開源版的RedHat、Centos或者Debian作為底層的構建平臺。

優選的，數據采集存儲模塊的數據接入包括文件日志的接入、數據庫日志的接入、關系型數據庫的接入和應用程序的接入，數據接入的工具包括Flume、Logstash、數據運河系統和sqoop等。

優選的，Sqoop將數據從文件或者傳統數據庫導入到分布式平臺。

優選的，數據建模分析還包括機器學習算法，包括貝葉斯、邏輯回歸、決策樹、神經網絡、協同過濾等。