[發明專利]一種基于日志信息處理的寫磁盤方法和系統

無效

• 申請號: 200910238741.2
• 申請日: 2009-11-24
• 公開（公告）號: CN101764705A
• 公開（公告）日: 2010-06-30
• 發明（設計）人: 吳帥;王國騰;紹軍;左鷂飛
• 申請（專利權）人: 北京雷霆萬鈞網絡科技有限責任公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/56;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

技術領域

本發明涉網站日志信息處理領域，特別是涉及一種基于日志信息處理的寫磁盤方法和系統。

背景技術

隨著信息社會的到來，人們越來越依靠網絡來獲取龐大的信息量。大型網站服務器眾多，網站訪問量大，致使日志的收集成為棘手的難題。目前大多解決方案是采用Apache或lighthttp等Http?Server收集日志到本地，然后通過FTP，遠程文件拷貝等方式將日志拷貝到統一的服務器合并后分析。

現有技術中，Http?Server在處理大規模并發情況時存在不穩定性。在日志信息處理系統中，所有日志信息最終匯總到一臺單獨的服務器上，日志信息在這臺服務器上的匯總是整個系統中最后的瓶頸。將日志信息寫入磁盤是一個獨占系統中斷的過程，頻繁寫磁盤操作會嚴重影響其他進程工作，降低系統響應性能。

發明內容

本發明所要解決的技術問題是提供一種基于日志信息處理的寫磁盤方法和系統，以解決日志信息處理過程中寫磁盤對其他進程的影響。

為實現上述發明目的，本發明提供以下方案：

一種基于日志信息處理的寫磁盤方法，其特征在于，包括以下步驟：

網站服務器接收日志信息，將日志信息發送至Spread環路；

創建固定大小的FIFO?Buffer，將日志信息存入上述FIFO?Buffer；

當上述FIFO?Buffer中的數據存量達到預警值時，將FIFO?Buffer中的數據全部讀出，寫入磁盤。

本發明還提供一種基于日志信息處理的寫磁盤系統，包括：網站服務器、Spread環路和磁盤；其特征在于，所述Spread環路和磁盤之間連接有寫磁盤模塊，所述寫磁盤模塊包括日志信息存儲子模塊和磁盤寫入子模塊；

所述日志信息存儲子模塊，用于從Spread環路接收日志信息，并將日志信息保存到系統的固定大小的FIFO?Buffer中；

所述磁盤寫入子模塊，用于監控上述FIFO?Buffer的狀態，當所述FIFOBuffer中的日志信息存儲量達到預警值時，一次將所述FIFO?Buffer中的數據全部讀出，寫入磁盤中。

與現有技術相比，本發明具有以下優點：

將日志信息從Spread環路中讀入固定大小的FIFO?Buffer中，有效緩沖了爆發式請求發生時對系統的沖擊。系統監控FIFO?Buffer中日志信息的存儲量，當存儲量達到預警值時，一次將FIFO?Buffer中的日志信息全部寫入磁盤中，減少了磁盤寫入的次數，避免了頻繁寫入磁盤操作對其他進程的影響，提高了系統的響應性能。

附圖說明

圖1為本發明方法流程示意圖；

圖2為本發明系統模塊示意圖。

具體實施方式

為使本發明的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。

本發明提供一種基于日志信息處理的寫磁盤方法，參照圖1，包括：

步驟S101，網站服務器接收日志信息，將日志信息發送至Spread環路；

步驟S102，創建固定大小的FIFO?Buffer，將日志信息存入上述FIFOBuffer；

步驟S103，當上述FIFO?Buffer中的數據存量達到預警值時，將FIFOBuffer中的數據全部讀出，寫入磁盤。

在日志信息處理過程中，最后所有的日志信息都將通過Spread環路寫入至一臺單獨的服務器上，即所述的磁盤中。頻繁的寫入磁盤會造成本地磁盤負載增加，寫入日志還會受到移動大量日志時造成的對磁盤操作的搶奪沖突，容易致使寫入的日志丟失。本實施例中，將日志信息先從Spread環路讀取到FIFOBuffer中，將日志信息緩沖起來，當日志信息數量達到一定大小時再一次性寫入磁盤，減少了磁盤的寫入次數，有效緩解磁盤頻繁寫入造成的磁盤操作沖突，提升系統的響應性能，解決日志信息處理系統中集中存儲時所面臨的瓶頸問題。

本發明還提供一種基于日志信息處理的寫磁盤系統，參見圖2，包括：網站服務器11、Spread環路12和磁盤13；網站服務器11接收日志信息，將日志信息發送至Spread環路12，再由Spread環路12寫入磁盤13；Spread環路12和磁盤13之間連接有寫磁盤模塊14，所述寫磁盤模塊14包括日志信息存儲子模塊141和磁盤寫入子模塊142；

所述日志信息存儲子模塊141，用于從Spread環路12接收日志信息，并將日志信息保存到系統的固定大小的FIFO?Buffer中；