[發(fā)明專利]互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201710373303.1
• 申請日: 2017-05-24
• 公開（公告）號: CN107357804A
• 公開（公告）日: 2017-11-17
• 發(fā)明（設(shè)計）人: 馮普超
• 申請（專利權(quán)）人: 上海你我貸互聯(lián)網(wǎng)金融信息服務(wù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q40/02
• 代理公司: 北京德恒律治知識產(chǎn)權(quán)代理有限公司11409
• 代理人: 章社杲,盧軍峰

1.一種互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)，其特征在于，包括順序連接的采集模塊、傳輸模塊、以及處理模塊；

其中，所述采集模塊利用flume實時收集業(yè)務(wù)日志；所述傳輸模塊利用kafka技術(shù)對所述業(yè)務(wù)日志進行傳輸，所述處理模塊接收所述業(yè)務(wù)日志并利用storm對所述業(yè)務(wù)日志進行實時計算和分析以得到監(jiān)控數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)，其特征在于，還包括：存儲模塊，連接于所述處理模塊；

其中，所述存儲模塊包括redis存儲單元，其中所述redis存儲單元用于存儲統(tǒng)計數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)，其特征在于，所述存儲模塊還包括：MySQL存儲單元、以及Elasticsearch存儲單元；

其中，所述MySQL存儲單元用于存儲規(guī)則數(shù)據(jù)；以及

所述Elasticsearch存儲單元用于存儲日志文本數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)，其特征在于，所述處理模塊包括：

報警控制單元，用于根據(jù)實時計算和分析的結(jié)果生成報警反饋。

5.根據(jù)權(quán)利要求2所述的互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)，其特征在于，還包括web展示模塊，連接于所述存儲模塊，所述web展示模塊實時動態(tài)展示所述監(jiān)控數(shù)據(jù)。

6.一種互聯(lián)網(wǎng)金融海量日志的分析方法，其特征在于，包括：

利用flume實時收集業(yè)務(wù)日志；

利用kafka技術(shù)對所述業(yè)務(wù)日志進行傳輸；

接收所述業(yè)務(wù)日志并利用storm對所述業(yè)務(wù)日志進行實時計算和分析以得到監(jiān)控數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的互聯(lián)網(wǎng)金融海量日志的分析方法，其特征在于，在對所述業(yè)務(wù)日志進行實時計算和分析之后還包括：

存儲統(tǒng)計數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的互聯(lián)網(wǎng)金融海量日志的分析方法，其特征在于，在對所述業(yè)務(wù)日志進行實時計算和分析之后還包括：

存儲規(guī)則數(shù)據(jù)；以及

存儲日志文本數(shù)據(jù)。

9.根據(jù)權(quán)利要求6所述的互聯(lián)網(wǎng)金融海量日志的分析方法，其特征在于，在對所述業(yè)務(wù)日志進行實時計算和分析之后還包括：

根據(jù)實時計算和分析的結(jié)果生成報警反饋。

10.根據(jù)權(quán)利要求7所述的互聯(lián)網(wǎng)金融海量日志的分析方法，其特征在于，在對所述業(yè)務(wù)日志進行實時計算和分析之后還包括：

實時動態(tài)展示所述監(jiān)控數(shù)據(jù)。