[發明專利]應用于互聯網金融的日志處理系統、方法及計算機設備

在審

• 申請號: 202011554266.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112579394A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 羅婷
• 申請（專利權）人: 羅婷
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32;G06F16/2458;G06F16/25;G06F16/27
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 周俊

本發明公開了應用于互聯網金融的日志處理系統、方法及計算機設備，涉及互聯網金融技術領域，系統包括依次連接的日志采集模塊、日志轉發模塊、日志標識模塊、存儲模塊和日志獲取模塊，日志獲取模塊與日志采集模塊連接，日志采集模塊用于實時采集業務日志，日志轉發模塊用于接收采集的所述業務日志并對業務日志進行轉發，日志標識模塊用于對轉發的業務日志添加位置標識符和自增長ID，存儲模塊包括備用庫單元，用于將添加了位置標識符和自增長ID的業務日志進行存儲，日志獲取模塊，用于在日志丟失時從備用庫單元根據最新的位置標識符和自增長ID獲取日志,本發明具有即使在采集工具異常時也能保證日志采集連續性的優點。

技術領域

本發明涉及互聯網金融技術領域，具體涉及應用于互聯網金融的日志處理系統、方法及計算機設備。

背景技術

日志是記錄各種系統中問題信息的關鍵，是一種常見的海量數據，目前可以通過系統的日志對系統的運行狀態進行分析。目前銀行等組織機構都有多種系統，這些系統基于分布式的應用服務器集群日復一日地運，產生海量的日志。核心銀行系統擁有的運維數據，既包括系統層面有關資源消耗的性能特征日志，還包括業務層面事關客戶、賬戶的交易明細日志。使用數據分析工具，結合數據分析方法，深入挖掘海量數據背后所蘊藏的價值，不僅可以提高信息系統支持能力，還能夠不斷增強金融服務效能，最終達成提升客戶體驗的運營目標。

現有的日志處理系統對日志進行采集時，采集工具異常時容易出現日志不連續的問題，因此缺少一種能保證日志采集連續性的日志處理系統。

發明內容

針對現有技術中的缺陷，本發明提供應用于互聯網金融的日志處理系統、方法及計算機設備，以解決現有日志處理系統對日志進行采集時，采集工具異常時容易出現日志不連續的技術問題。

為解決上述的技術問題，本發明采用以下技術方案：

應用于互聯網金融的日志處理系統，包括依次連接的日志采集模塊、日志轉發模塊、日志標識模塊、存儲模塊和日志獲取模塊，所述日志獲取模塊與日志采集模塊連接；其中，

所述日志采集模塊，用于實時采集業務日志；

所述日志轉發模塊，用于接收采集的所述業務日志并對業務日志進行轉發；

所述日志標識模塊，用于對轉發的業務日志添加位置標識符和自增長ID；

所述存儲模塊包括備用庫單元，備用庫單元用于將添加了位置標識符和自增長ID的業務日志進行存儲；

所述日志獲取模塊，用于在業務日志丟失時從備用庫單元根據最新的位置標識符和自增長ID獲取業務日志。

優選地，日志采集模塊連接有應用服務器，并利用flume實時收集業務日志。

優選地，存儲模塊還包括redis存儲單元和MySQL存儲單元，redis存儲單元用于存儲統計數據，MySQL存儲單元用于存儲規則數據。

優選地，日志轉發模塊連接有監測統計模塊，監測統計模塊用于根據預設的各系統類型對應的監測統計任務從各系統類型對應的業務日志中提取數據，得到各監測統計任務的監測數據。

優選地，監測統計模塊連接有web展示模塊，web展示模塊實時動態展示所述監控數據。

優選地，web展示模塊包括監控規則管理單元、報警渠道管理單元、性能參數動態展示單元、報警對象管理單元、報警歷史展示單元、業務異常動態展示單元和關鍵詞內容檢索單元。

優選地，監測統計模塊連接有報警控制模塊，報警控制模塊用于根據實時計算和分析的結果生成報警反饋。

應用于互聯網金融的日志處理方法，包括以下步驟：

S1：日志采集：實時采集業務日志；