[發(fā)明專利]一種分析互聯(lián)網(wǎng)金融海量日志的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711495499.8
• 申請(qǐng)日: 2017-12-31
• 公開（公告）號(hào): CN108334556A
• 公開（公告）日: 2018-07-27
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 江蘇易潤信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種分析互聯(lián)網(wǎng)金融海量日志的系統(tǒng)及分析方法，該分析系統(tǒng)包括順序連接的采集模塊、傳輸模塊、以及處理模塊；其中，采集模塊利用flume實(shí)時(shí)收集業(yè)務(wù)日志；傳輸模塊利用kafka技術(shù)對(duì)業(yè)務(wù)日志進(jìn)行傳輸，處理模塊接收業(yè)務(wù)日志并利用storm對(duì)業(yè)務(wù)日志進(jìn)行實(shí)時(shí)計(jì)算和分析以得到監(jiān)控?cái)?shù)據(jù)。通過flume來實(shí)時(shí)收集業(yè)務(wù)日志，實(shí)現(xiàn)了對(duì)海量日志的實(shí)時(shí)收集；還通過kafka傳輸業(yè)務(wù)日志，保證了在出現(xiàn)高并發(fā)時(shí)不會(huì)出現(xiàn)性能瓶頸；并通過storm的水平拓展能力，能夠處理海量數(shù)據(jù)，且實(shí)時(shí)性高。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)金融技術(shù)領(lǐng)域，具體來說，涉及一種互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及分析方法。

背景技術(shù)

現(xiàn)有的日志系統(tǒng)，部分是針對(duì)性能分析的，部分是針對(duì)數(shù)據(jù)處理的。而針對(duì)數(shù)據(jù)處理的，都是離線數(shù)據(jù)處理，很難做到實(shí)時(shí)監(jiān)控，并且很難適應(yīng)間歇性高并發(fā)的應(yīng)用場景，尤其是針對(duì)互聯(lián)網(wǎng)金融這種對(duì)數(shù)據(jù)一致性，時(shí)效性要求高的應(yīng)用，如果不能及時(shí)針對(duì)線上故障做出響應(yīng)，帶來的影響就非常大。除此之外，現(xiàn)有的日志系統(tǒng)不能快速處理海量數(shù)據(jù)，導(dǎo)致問題發(fā)現(xiàn)的非常緩慢。

整體來說，現(xiàn)有的日志系統(tǒng)存在以下缺陷：

一、不能有效的應(yīng)對(duì)間歇性的高并發(fā)情況。互聯(lián)網(wǎng)應(yīng)用因?yàn)闀r(shí)段、運(yùn)營手段等原因，容易出現(xiàn)某個(gè)時(shí)段高并發(fā)情況，這個(gè)時(shí)候日志量會(huì)暴增，如果處理不好很容易出現(xiàn)宕機(jī)的情況。例如，突然的一些運(yùn)營活動(dòng)導(dǎo)致線上業(yè)務(wù)壓力大、日志量井噴，很容使日志系統(tǒng)宕機(jī)；

二、實(shí)時(shí)性差。現(xiàn)有的日志系統(tǒng)很多都只是離線分析日志，或是準(zhǔn)實(shí)時(shí)的分析日志，當(dāng)出現(xiàn)線上問題時(shí)不能快速有效的響應(yīng)；

三、處理的數(shù)據(jù)量有限。現(xiàn)有日志處理的數(shù)據(jù)量都比較有限，這導(dǎo)致不能保存足夠長時(shí)間的日志，不利于問題排查。

針對(duì)相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的上述問題，本發(fā)明提出一種分析互聯(lián)網(wǎng)金融海量日志的系統(tǒng)及分析方法，采用kafka作為日志傳輸工具，能夠有效地解決高并發(fā)帶來的風(fēng)險(xiǎn)；采用storm集群實(shí)時(shí)采集數(shù)據(jù)、分析結(jié)果，實(shí)現(xiàn)了海量日志實(shí)時(shí)分析。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

根據(jù)本發(fā)明的一個(gè)方面，提供了一種分析互聯(lián)網(wǎng)金融海量日志的系統(tǒng)，其特征在 于，包括順序連接的采集模塊、傳輸模塊、以及處理模塊；其中，采集模塊利用flume實(shí)時(shí)收集業(yè)務(wù)日志；傳輸模塊利用kafka技術(shù)對(duì)業(yè)務(wù)日志進(jìn)行傳輸，處理模塊接收業(yè)務(wù)日志并利用storm對(duì)業(yè)務(wù)日志進(jìn)行實(shí)時(shí)計(jì)算和分析以得到監(jiān)控?cái)?shù)據(jù)。

在一個(gè)實(shí)施例中，還包括：存儲(chǔ)模塊，連接于處理模塊；其中，存儲(chǔ)模塊包括redis存儲(chǔ)單元，其中redis存儲(chǔ)單元用于存儲(chǔ)統(tǒng)計(jì)數(shù)據(jù)。

在一個(gè)實(shí)施例中，存儲(chǔ)模塊還包括：MySQL存儲(chǔ)單元、以及Elasticsearch存儲(chǔ)單元；其中，MySQL存儲(chǔ)單元用于存儲(chǔ)規(guī)則數(shù)據(jù)；以及Elasticsearch存儲(chǔ)單元用于存儲(chǔ)日志文本數(shù)據(jù)。

在一個(gè)實(shí)施例中，處理模塊包括：報(bào)警控制單元，用于根據(jù)實(shí)時(shí)計(jì)算和分析的結(jié)果生成報(bào)警反饋。

在一個(gè)實(shí)施例中，還包括web展示模塊，連接于存儲(chǔ)模塊，web展示模塊實(shí)時(shí)動(dòng)態(tài)展示監(jiān)控?cái)?shù)據(jù)。

根據(jù)本發(fā)明的另一方面，提供了一種分析互聯(lián)網(wǎng)金融海量日志的方法，其特征在于，包括：

利用flume實(shí)時(shí)收集業(yè)務(wù)日志；

利用kafka技術(shù)對(duì)業(yè)務(wù)日志進(jìn)行傳輸；

接收業(yè)務(wù)日志并利用storm對(duì)業(yè)務(wù)日志進(jìn)行實(shí)時(shí)計(jì)算和分析以得到監(jiān)控?cái)?shù)據(jù)。

在一個(gè)實(shí)施例中，在對(duì)業(yè)務(wù)日志進(jìn)行實(shí)時(shí)計(jì)算和分析之后還包括：存儲(chǔ)統(tǒng)計(jì)數(shù)據(jù)。