[發明專利]日志信息處理方法及裝置

有效

• 申請號: 201310371281.7
• 申請日: 2013-08-23
• 公開（公告）號: CN103425568A
• 公開（公告）日: 2013-12-04
• 發明（設計）人: 彭昱瑋
• 申請（專利權）人: 新浪網技術(中國)有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 張璐;方曉明

技術領域

本發明涉及計算機領域，尤其涉及一種日志信息處理方法及裝置。

背景技術

云計算(Cloud?computing)是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機和其它設備。

目前，云計算中監控功能通常是通過日志信息采集的方法來實現的。日志信息采集的方法分為被動接收和主動采集兩種。主動采集方法是由日志信息處理裝置主動獲取云環境中的虛擬機或宿主機的日志信息，并將其保存到存儲空間中供后續分析使用；被動接收方式是由現有的云計算組件或者云環境中的虛擬機或宿主機的日志采集組件主動推送日志信息到日志信息處理裝置，由日志信息處理裝置接收日志信息，并將其保存到存儲空間中供后續分析使用。

通常，日志信息采集的對象可以包括云環境中的虛擬機或宿主機的CPU(Central?Processing?Unit，中央處理器)使用率信息、內存使用率信息、磁盤使用率信息，磁盤IＯ(Input?Output，輸入輸出)流量信息、網絡流量信息，以及系統登錄信息、訪問信息、故障告警信息、端口連接信息等。

通過對虛擬機或宿主機的日志信息進行分析，可以從中獲取虛擬機或宿主機的運行狀況、訪問狀況、負載狀況等信息，從而為企業對突發事件、網絡攻擊等事件的發生和應對提供數據參考；同時，可以根據日志信息中提供的數據進行用戶行為研究、負載規律研究、安全基線研究、突發事件規律研究等行為研究，為企業的未來產品發展提供數據依據。因此，日志信息的采集、處理和分析對企業和產品的運營意義重大。

現有技術中，對于獲取或采集的日志信息，一般采用完全保存的方式進行存儲，即不管日志信息是否具有使用價值，一概保存日志信息的所有原始數據。然而，這種方式會導致形成不必要的冗余數據，浪費磁盤存儲空間，降低查詢速度，并最終影響用戶體驗；而且，由于智能手機、平板電腦和其他互聯網設備的普及，以及云計算技術的發展，互聯網帶寬資源和云端內網資源在不久的將來都將面臨帶寬極限的問題，現有技術中將日志信息的所有原始數據上傳至存儲空間的方式，浪費了大量的網絡帶寬，使其存在局限性。

因此，有必要提供一種可以節約存儲空間、節約網絡帶寬的日志信息處理方法。

發明內容

針對上述現有技術存在的缺陷，本發明提供了一種日志信息處理方法及裝置，用以節約存儲空間，并節約網絡帶寬。

根據本發明的一個方面，提供了一種日志信息處理方法，包括：

獲取云環境中的各虛擬機或宿主機的日志信息進行緩存；并在設定的處理周期U到達時，將本次處理周期內緩存的日志信息進行合并處理：

對于從同一虛擬機或宿主機獲取的同類型的日志信息，將連續緩存的每W條該類型的日志信息合并為一條日志信息后進行存儲；其中，W等于U×M/N，M為該類型的日志信息的采集頻率，N為日志信息的統計分析頻率，且M>N。

較佳地，所述將連續緩存的每W條該類型的日志信息合并為一條日志信息，具體為：

若日志信息的類型為CPU使用率、或內存使用率、或磁盤使用率信息，則對于連續緩存的每W條該類型的日志信息計算平均值，將計算得到的平均值作為合并后的該類型的一條日志信息。

進一步，在所述對于連續緩存的每W條該類型的日志信息計算平均值后，還包括：

對于連續緩存的每W條該類型的日志信息，統計出最大值、最小值，將統計出的最大值、最小值與計算得到的平均值一并進行存儲。

或者，所述將連續緩存的每W條該類型的日志信息合并為1條日志信息，具體為：

若日志信息的類型為磁盤IＯ流量、或網絡流量信息，則對于連續緩存的每W條該類型的日志信息統計出最大值，將統計出的最大值作為合并后的該類型的一條日志信息。

進一步，在所述對于連續緩存的每W條該類型的日志信息統計出最大值后，還包括：

對于連續緩存的每W條該類型的日志信息計算合計值S；其中，S=X_W-X₁；X_W為所述W條該類型的日志信息中最后一條日志信息的值，X₁為所述W條該類型的日志信息中第一條日志信息的值；

對于連續緩存的每W條該類型的日志信息計算差值平均值P：