[發明專利]日志的處理方法及裝置

在審

• 申請號: 201810312062.4
• 申請日: 2018-04-09
• 公開（公告）號: CN108512704A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 劉京洋;岑銳堅;勞仲康;周藝威
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 褚敏;宮傳芝

本發明提供了一種日志的處理方法及裝置，其中，該方法包括：針對不同的系統日志設置不同的輸出決策，后續依據當前輸出日志對應的輸出決策處理該日志，可選地，通過狀態碼區分不同類型的日志，采用上述技術方案，解決了相關技術存儲或讀取系統輸出日志時浪費系統資源的問題，將重要日志和不重要日志進行不同方式的存儲，讀取時效率也高，節省了系統資源。

技術領域

本發明涉及通信領域，具體而言，涉及一種日志的處理方法及裝置。

背景技術

在相關技術中，超文本傳輸協議HTTP和反向代理服務器Nginx是網絡基礎設施中非常重要的一環，其重要程度可以從其絕對優勢的市場占用率看出來。Nginx的特點是高性能，并且最常見的用法是作為HTTP代理服務器proxy存在。在極高性能下，Nginx會產生大量的日志輸出。現代的服務器CPU一般很強，除非是使用HTTPS，否則服務器CPU到達瓶頸之前一般輸入輸出IO首先到達瓶頸。而服務器的IO瓶頸一直是困擾Nginx在極高負載情況下使用者的問題，尤其是還涉及到日志收集和分析系統對日志的二遍處理帶來的IO加倍的損耗。

Nginx專門開發了對所有訪問日志accesslog進行壓縮的功能。但是這種機制顯然在企業中是不能很好的適應業務需求的，企業的需求通常更加復雜，與業務相關性比較大的。目前Nginx的日志在大部分企業中的處理方式是全量輸出，然后有專門的收集裝置進行數據收集(全量或者滿足條件的)和日志回滾，如果啟用日志壓縮，那么就意味著收集之前要先解壓縮，也就是兩倍的CPU壓縮損耗，所以一般在實際應用中都不會開啟壓縮功能。

在相關技術中，現代一線互聯網企業的解決方案通常都是一個分級的日志系統，一部分收集到服務器，一部分放在本地。顯然大量的普通數據放在本地，重要的放到服務器。大部分企業都應該使用這套日志模型，但是有一個問題是Nginx輸出的不需要收集的日志和需要收集的日志一樣，要么都是明文的要么都是壓縮過的。這就導致了壓縮功能的使用率較低。

針對相關技術存儲或讀取系統輸出日志時浪費系統資源的問題，目前還沒有有效的解決方案。

發明內容

本發明實施例提供了一種日志的處理方法及裝置，以至少解決相關技術存儲或讀取系統輸出日志時浪費系統資源的問題。

根據本發明的一個實施例，提供了一種日志的處理方法，該方法包括：確定不同類型的日志對應的不同輸出決策；依據每種輸出決策處理對應類型的日志。

根據本發明的另一個實施例，還提供了一種日志的處理裝置，包括：確定模塊，用于確定不同類型的日志對應的不同輸出決策；處理模塊，用于依據每種輸出決策處理對應類型的日志。

根據本發明的另一個實施例，還提供了一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行上述實施例任一項中所述的方法。

根據本發明的另一個實施例，還提供了一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行上述實施例任一項中所述的方法。

通過本發明，針對不同的系統日志設置不同的輸出決策，后續依據當前輸出日志對應的輸出決策處理該日志，可選地，通過狀態碼區分不同類型的日志，采用上述技術方案，解決了相關技術存儲或讀取系統輸出日志時浪費系統資源的問題，將重要日志和不重要日志進行不同方式的存儲，讀取時效率也高，節省了系統資源。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1是根據本發明實施例的日志的處理方法的流程圖。

具體實施方式