[發明專利]一種網站日志保存系統及方法和裝置

有效

• 申請號: 201210279783.2
• 申請日: 2012-08-07
• 公開（公告）號: CN102857369A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 李曉亮
• 申請（專利權）人: 北京鼎震科技有限責任公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 趙建剛

技術領域

本發明涉及通信技術領域，尤其涉及一種網站日志保存系統及方法和裝置。

背景技術

網站日志是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以.log結尾的文件。通過網站日志可以了解誰在什么時間使用什么工具訪問了網站的哪些內容，它是網站分析和網站數據倉儲的最基礎來源。因為能夠完整無誤的保存網站日志成為了保證web服務器正常運行的一個必要基礎。

在現有技術中，網站日志由WEB服務器自身記錄，當訪問產生時WEB服務器按照預先設置的日志格式以文本的形式把該次訪問的某些信息記錄在本地或者某臺網絡服務器上。

但是，不同的WEB服務器一般僅支持自己特定的日志格式，如apache支持的NCSA日志格式和IIS支持的W3C日志格式，大多數的日志分析工具都提供對NCSA和W3C至少一種格式的支持。另有一些WEB服務器如nginx有自己默認的日志格式，一般需要手工配置成NCSA格式以方便使用日志分析軟件?？傮w上現有技術存在以下問題：

1.訪問日志由web服務器負責記錄，web服務器不僅需要響應訪客的請求還需要記錄訪問日志，增加了web服務器的負擔。獲得每一次訪問的信息都是由web服務器在處理請求時同步進行，影響web服務器的性能。

2.日志的格式與使用的web服務器有關，這極大限制了的網站日志分析工具的選擇范圍。傳統的網站日志格式受使用的web服務器制約，選定了某種服務器也就選定了某種日志格式，或者說為了可以使用某種日志格式不得不選用某種服務器。

3.日志配置過程繁瑣復雜，某些web服務器甚至僅能透過配置文件才能完成日志配置，這需要有較高的計算機知識才能順利完成。另外web服務器一般不提供對已生成的日志的篩選功能，無法對已生成的日志進行篩選處理。

4.日志記錄不具備智能性，現有的網站日志只是單純的記錄web報文所攜帶的固有信息，不具備任何的行為分析能力，不管是攻擊還是正常訪問對于現有網站日志而言沒有什么區別，一般都需要專業技術人員進行分析來推測訪問的行為，假如網站遭到攻擊，在大量的訪問日志中尋找攻擊線索猶如大海撈針。

發明內容

針對傳統網站日志模式的上述缺點，本發明的目的在于提供一種基于旁路鏡像的網站日志保存系統及方法和裝置，從而解決現有技術中存在的前述問題。本發明采用旁路鏡像的方式獲取訪問數據，對訪問網站的數據進行“旁路鏡像”，獲得用戶訪問網站的原始數據包信息，經由行為分析模塊對訪問進行行為分類后可以記錄成多種格式的網站日志。本發明的技術方案不會對web服務器造成任何負擔，且日志格式與web服務器的選擇完全無關。傳統組網模型就是在網絡交換機上接入相關的WEB服務器，由WEB服務器實體來完成相關的網站日志保存等功能；而本發明的技術組網方案是在交換機上旁路部署了一個設備實體，由該設備實體來完成保存網站日志和查詢網站日志的功能，WEB服務器實體僅需要完成網站的信息應答功能。

本發明公開的技術方案具體如下：

一種網站日志保存系統，包括防火墻、網絡交換機和web服務器，所述網絡交換機為具備鏡像端口的網絡交換機，所述鏡像端口上連接有日志保存服務器；所述鏡像端口用于通過流量鏡像方式獲取連接有所述日志保存服務器的通訊端口的通訊數據。

優選的，所述日志保存服務器包括流量采集模塊、http協議分析模塊、Request報文分析模塊、Response報文分析模塊、行為分析模塊、日志條件檢查模塊和網站日志保存模塊；所述流量采集模塊、所述http協議分析模塊、所述Request報文分析模塊、所述Response報文分析模塊、所述行為分析模塊、所述日志條件檢查模塊和所述網站日志保存模塊順序連接。

優選的，所述網站日志保存系統還包括網站日志篩選模塊，所述網站日志篩選模塊用于根據請求端指定的條件對網站日志進行篩選并將篩選結果反饋給所述請求端。

一種應用網站日志保存系統進行日志保存的方法，包括以下步驟：

S1，通過所述鏡像端口獲取所述web服務器收到和發出的全部數據包；

S2，分析所述數據包，從所述數據包中獲取http協議數據包；

S3，分析所述http協議數據包中的Request報文數據，得到Request報文必要信息；

S4，分析所述http協議數據包中的Response報文數據，得到Response報文必要信息；

S5，分析所述Request報文必要信息和/或Response報文必要信息，得到訪問行為類型信息；