[發明專利]互聯網金融海量日志的分析系統及方法

在審

• 申請號: 201710373303.1
• 申請日: 2017-05-24
• 公開（公告）號: CN107357804A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 馮普超
• 申請（專利權）人: 上海你我貸互聯網金融信息服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q40/02
• 代理公司: 北京德恒律治知識產權代理有限公司11409
• 代理人: 章社杲,盧軍峰

技術領域

本發明涉及互聯網金融技術領域，具體來說，涉及一種互聯網金融海量日志的分析系統及分析方法。

背景技術

現有的日志系統，部分是針對性能分析的，部分是針對數據處理的。而針對數據處理的，都是離線數據處理，很難做到實時監控，并且很難適應間歇性高并發的應用場景，尤其是針對互聯網金融這種對數據一致性，時效性要求高的應用，如果不能及時針對線上故障做出響應，帶來的影響就非常大。除此之外，現有的日志系統不能快速處理海量數據，導致問題發現的非常緩慢。

整體來說，現有的日志系統存在以下缺陷：

一、不能有效的應對間歇性的高并發情況?；ヂ摼W應用因為時段、運營手段等原因，容易出現某個時段高并發情況，這個時候日志量會暴增，如果處理不好很容易出現宕機的情況。例如，突然的一些運營活動導致線上業務壓力大、日志量井噴，很容使日志系統宕機；

二、實時性差?，F有的日志系統很多都只是離線分析日志，或是準實時的分析日志，當出現線上問題時不能快速有效的響應；

三、處理的數據量有限。現有日志處理的數據量都比較有限，這導致不能保存足夠長時間的日志，不利于問題排查。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的上述問題，本發明提出一種互聯網金融海量日志的分析系統及分析方法，采用kafka作為日志傳輸工具，能夠有效地解決高并發帶來的風險；采用storm集群實時采集數據、分析結果，實現了海量日志實時分析。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種互聯網金融海量日志的分析系統，其特征在于，包括順序連接的采集模塊、傳輸模塊、以及處理模塊；其中，采集模塊利用flume實時收集業務日志；傳輸模塊利用kafka技術對業務日志進行傳輸，處理模塊接收業務日志并利用storm對業務日志進行實時計算和分析以得到監控數據。

在一個實施例中，還包括：存儲模塊，連接于處理模塊；其中，存儲模塊包括redis存儲單元，其中redis存儲單元用于存儲統計數據。

在一個實施例中，存儲模塊還包括：MySQL存儲單元、以及Elasticsearch存儲單元；其中，MySQL存儲單元用于存儲規則數據；以及Elasticsearch存儲單元用于存儲日志文本數據。

在一個實施例中，處理模塊包括：報警控制單元，用于根據實時計算和分析的結果生成報警反饋。

在一個實施例中，還包括web展示模塊，連接于存儲模塊，web展示模塊實時動態展示監控數據。

根據本發明的另一方面，提供了一種互聯網金融海量日志的分析方法，其特征在于，包括：

利用flume實時收集業務日志；

利用kafka技術對業務日志進行傳輸；

接收業務日志并利用storm對業務日志進行實時計算和分析以得到監控數據。

在一個實施例中，在對業務日志進行實時計算和分析之后還包括：存儲統計數據。

在一個實施例中，在對業務日志進行實時計算和分析之后還包括：存儲規則數據；以及存儲日志文本數據。

在一個實施例中，在對業務日志進行實時計算和分析之后還包括：根據實時計算和分析的結果生成報警反饋。

在一個實施例中，在對業務日志進行實時計算和分析之后還包括：實時動態展示監控數據。

本發明通過flume來實時收集業務日志，實現了對海量日志的實時收集；還通過kafka傳輸業務日志，保證了在出現高并發時不會出現性能瓶頸；并通過storm的水平拓展能力，能夠處理海量數據，且實時性高。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是根據本發明實施例的互聯網金融海量日志的分析系統的示意圖；

圖2是根據本發明實施例的互聯網金融海量日志的分析方法的流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例?；诒景l明中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬于本發明保護的范圍。