[發明專利]一種基于大數據建模的BI應用系統

在審

• 申請號: 201911360296.7
• 申請日: 2019-12-25
• 公開（公告）號: CN111126852A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 陸洋
• 申請（專利權）人: 江蘇三六五網絡股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F8/20;G06F16/21;G06F16/215;G06F16/2458
• 代理公司: 南京常青藤知識產權代理有限公司 32286
• 代理人: 仲暉

1.一種基于大數據建模的BI應用系統，其特征在于，包括：

數據采集存儲模塊，DPI、業務側、網元側數據通過文件接口方式發送到Flume-NG集群，Flume-NG通過memory數據傳輸方式，將接收到的數據實時的通過hdfs方式匯聚到大數據分析平臺；

數據清洗模塊，通過編寫HQL腳本對數據進行清洗、轉換，形成特征寬表；

數據挖掘模塊，基于特征寬表的數據建模采用Spark R，調用聚類、分類等算法，進行模型開發、模型評估和模型應用；

分析結果發布，模型應用的結果集存儲在HBase中，首先在HBase中新建存儲結果集的HBase表，通過MapReduce生成HFile文件，然后通過Bulk Load方式入庫，數據的調用通過HBase API實現，數據的展現通過ECharts技術實現。

2.根據權利要求1所述的一種基于大數據建模的BI應用系統，其特征在于，大數據分析平臺所要搭建的數據分析工具選擇的操作系統為開源版的RedHat、Centos或者Debian作為底層的構建平臺。

3.根據權利要求1所述的一種基于大數據建模的BI應用系統，其特征在于，數據采集存儲模塊的數據接入包括文件日志的接入、數據庫日志的接入、關系型數據庫的接入和應用程序的接入，數據接入的工具包括Flume、Logstash、數據運河系統和sqoop等。

4.根據權利要求3所述的一種基于大數據建模的BI應用系統，其特征在于，Sqoop將數據從文件或者傳統數據庫導入到分布式平臺。

5.根據權利要求1所述的一種基于大數據建模的BI應用系統，其特征在于，數據建模分析還包括機器學習算法，包括貝葉斯、邏輯回歸、決策樹、神經網絡、協同過濾等。