[發明專利]日志數據采集方法、系統及服務器

有效

• 申請號: 201110127336.0
• 申請日: 2011-05-17
• 公開（公告）號: CN102790686A
• 公開（公告）日: 2012-11-21
• 發明（設計）人: 易崢;王建;于浩淼;王進
• 申請（專利權）人: 浙江核新同花順網絡信息股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳蕾;逯長明

技術領域

本申請涉及網絡通信技術領域，特別是涉及一種日志數據采集方法、系統及服務器。

背景技術

證券公司總部為了方便用戶訪問證券系統，會在不同地點部署具有相同功能的服務器，這些服務器也可以稱為鏡像站點服務器或委托服務器，各委托服務器通過internet網絡訪問總部的日志采集服務器，委托服務器越多，每個委托服務器所分配的網絡訪問帶寬就會變小。證券系統每天都會產生大量的日志數據，日志數據用于保存用戶的交易記錄，包括用戶的來源IP、MAC地址、數字簽名等。現有技術中，為了不影響證券系統的日常運行，減少各委托服務器的帶寬使用，各委托服務器均不對日志數據進行實時采集上報，而是在非工作時間，例如晚上將日志數據傳輸到總部的日志采集服務器進行匯總。

發明人在對現有技術的研究過程中發現，現有技術中由于網絡帶寬的限制，導致總部的日志采集服務器難以實時采集到所有委托服務器上生成的日志數據；進一步，在需要實時查詢個別用戶的交易數據時，只能通過在線匯總所有委托服務器的日志數據，進行手工查詢，因此日志數據的匯總速度較慢，導致查詢效率不高。

發明內容

本申請實施例提供了一種日志數據采集方法、系統及服務器，以解決現有技術中難以實時采集委托服務器的日志數據的問題。

為了解決上述技術問題，本申請實施例公開了如下技術方案：

一種日志數據采集方法，應用于包含至少一個日志采集服務器的系統中，每個所述日志采集服務器對應于多個委托服務器，所述方法包括：

委托服務器實時保存根據用戶操作信息生成的日志文件；

日志采集服務器根據預先設置的采集策略動態調整委托服務器的日志采集速度；

日志采集服務器接收所述委托服務器按照所述日志采集速度上報的日志文件。

所述委托服務器實時保存根據用戶操作信息生成的日志文件包括：

委托服務器將根據用戶的操作信息生成的日志數據保存至緩存中；

當在預設時間內緩存中的日志數據的數據量超過預設數據量，或者緩存中日志數據的數據量沒有超過預設數量但到達預設時間時，將所述緩存中的日志數據以日志文件的形式寫入磁盤。

所述日志采集服務器根據預先設置的采集策略動態調整委托服務器的日志采集速度包括：

所述日志采集服務器根據委托服務器上報的CPU信息調整所述委托服務器的日志采集速度；或

所述日志采集服務器根據委托服務器上報的內存占用率調整所述委托服務器的日志采集速度；或

所述日志采集服務器根據委托服務器的網絡流量使用率調整所述委托服務器的日志采集速度；或

所述日志采集服務器根據與所述日志采集服務器相連的日志數據庫的繁忙程度調整所述委托服務器的日志采集速度。

所述委托服務器按照日志采集速度上報日志文件包括：

委托服務器將待上報的日志文件讀入緩存；

對所述日志文件進行壓縮；

將壓縮后的日志文件按照所述日志采集速度傳輸至所述日志采集服務器。

還包括：

所述委托服務器在按照日志采集速度上報日志文件的過程中，實時記錄當前傳輸的日志數據在日志文件中的位置信息；

當所述委托服務器的系統發生異常并恢復正常后，根據所述記錄的位置信息繼續上報所述日志文件。

還包括：

所述日志采集服務器對接收到的日志文件進行解析，生成與預設格式一致的日志記錄；

將所述日志記錄發送至日志數據庫進行保存。

還包括：為所述日志采集服務器配置至少一個備份服務器，

當所述日志采集服務器故障時，切換到所述備份服務器；

所述日志采集服務器通過所述備份服務器與所述委托服務器進行日志數據的采集交互。

一種日志數據采集系統，包括：至少一個日志采集服務器，與每個日志采集服務器對應的多個委托服務器，其中，

所述委托服務器，用于實時保存根據用戶操作信息生成的日志文件；

所述日志采集服務器，用于根據預先設置的采集策略動態調整委托服務器的日志采集速度，并接收所述委托服務器按照所述日志采集速度上報的日志文件。

所述日志采集服務器，具體用于根據委托服務器上報的CPU信息調整所述委托服務器的日志采集速度；或根據委托服務器上報的內存占用率調整所述委托服務器的日志采集速度；或根據委托服務器的網絡流量使用率調整所述委托服務器的日志采集速度；或根據與所述日志采集服務器相連的日志數據庫的繁忙程度調整所述委托服務器的日志采集速度。