[發明專利]日志的處理方法及裝置

有效

• 申請號: 201410640694.5
• 申請日: 2014-11-13
• 公開（公告）號: CN104331487B
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 劉揚
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/18
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;王婧荷

本發明公開了一種日志的處理方法及裝置，處理方法用于處理一個任務的所有日志，對于所有日志中的一目標日志，處理方法包括：在內存中設置一內存區域，將目標日志的每一語句中的參數分離出來，將參數按一配置信息記錄于與目標日志匹配的數據集合內，并將目標日志的編號記錄于數據集合內，分離參數后的語句按信息生成為與數據集合對應的日志模板，記錄日志模板的編號于數據集合內，將內存區域中的數據集合存儲于存儲磁盤內；生成日志模板的編號并記錄于數據集合內，將內存區域中的數據集合以及對應的日志模板存儲于存儲磁盤內。本申請的處理方法及裝置能夠有效節省記錄日志時的服務器內存消耗，減少記錄日志以及日志存儲所需時間。

技術領域

本發明涉及一種日志的處理方法及裝置。

背景技術

日志是記錄系統中硬件、軟件和系統問題的信息，同時還可以監視系統中發生的事件。用戶可以通過它來檢查錯誤發生的原因，或者尋找受到攻擊時攻擊者留下的痕跡。日志包括系統日志、應用程序日志和安全日志等。

因為輸出日志需要占用大量磁盤空間、消耗磁盤讀寫資源，影響系統性能，而且大量的日志也影響后續的閱讀分析，所以不能不限制日志信息輸出量。本領域的通行做法與公開號為CN101753344A的專利中記載類似，將日志內容以文本形式存儲到緩存中，集中寫入文件，占用緩存較多，嚴重影響系統的速度。

發明內容

本發明要解決的技術問題是為了克服現有技術中日志的寫入、輸出占用緩存空間較多，嚴重影響系統的運行速度的缺陷，提供一種節省記錄日志時內存消耗，減少記錄日志所需時間的日志的處理方法及裝置。

本發明是通過下述技術方案來解決上述技術問題：一種日志的處理方法，其特點在于，所述處理方法用于處理一個任務的所有日志，對于所述所有日志中的一目標日志，所述處理方法包括：

在內存中設置一內存區域，在所述內存區域中將所述目標日志的每一語句中的參數分離出來，將所述參數按一配置信息記錄于與所述目標日志匹配的數據集合內，并將所述目標日志的編號記錄于所述數據集合內，分離參數后的語句按所述配置信息生成為與數據集合對應的日志模板，

在一用于存儲日志的存儲磁盤中存有所述日志模板的情況下，記錄所述日志模板的編號于所述數據集合內，在所述所有日志全部處理完成后，將內存區域中的數據集合存儲于存儲磁盤內；

在一用于存儲日志的存儲磁盤中未存有所述日志模板的情況下，生成所述日志模板的編號并記錄于所述數據集合內，在所述所有日志全部處理完成后，將內存區域中的數據集合以及對應的日志模板存儲于存儲磁盤內；

其中，所述配置信息為所述參數與語句中分離位置的映射關系。

在數據處理系統中，一個需要執行的任務通常具有多個需要記錄的日志，每個日志中包括多個語句(可以為描述型語句)，將每一語句中可變化的參數與固定不變的句式分別保存可以在存儲空間上省略存儲相同日志模板，達到節省存儲空間的目的。進一步地，分離后的數據集合以及日志模板存儲于磁盤空間中供輸出時調用，節約內存(緩存)的空間，提高系統的使用性能。

較佳地，所述處理方法包括：

接收一輸出目標日志的請求后，根據請求中的日志的編號獲取數據集合；

將獲取的數據集合中的參數按照所述配置信息寫入對應的日志模板中以恢復成目標日志并輸出。

根據日志的編號，系統可以獲取請求的日志。一個日志中的數據集合與日志模板對應，數據集合中包括對應的日志模板的編號，根據所述編號系統可以獲取與所述數據集合對應的日志模板，數據集合中的參數寫入到日志模板中就能夠還原出分離前的日志。

利用所述編號，如果磁盤中的日志模板已經存在，則系統不再需要將日志模板發送到存儲磁盤中，只需要將數據集合發送到存儲磁盤中，大大降低了傳輸的數據量。