[發明專利]一種降低日志文件空間占用的方法、存儲介質及終端

在審

• 申請號: 202210123742.8
• 申請日: 2022-02-10
• 公開（公告）號: CN114153790A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 胡建偉
• 申請（專利權）人: 四川創智聯恒科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/18;G06F16/22;G06F16/23;G06F11/10
• 代理公司: 成都智涌知識產權代理事務所(普通合伙) 51313
• 代理人: 周正輝

本發明公開了一種降低日志文件空間占用的方法、存儲介質及終端，涉及計算機技術領域。其中方法包括：構建索引表以及數據查找結構；計算日志語句中每一字符串的CRC編碼，并添加至數據查找結構；將字符串添加至索引表，將日志語句中的目標字符串替換為索引表中對應位置的索引值。與打點日志法相比，本發明不需要每次更新源代碼之后立即同步更新索引表，在節約大量時間成本的同時，還天然保證了日志文件和索引表的版本一致性，可靠性更高；本發明方法具備寫入字符串類型參數的能力，擴展性和靈活性更強；與壓縮日志法相比，本發明方法的時間復雜度和空間復雜度更低，更加節約處理器算力。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種降低日志文件空間占用的方法、存儲介質及終端。

背景技術

日志功能對于服務器、通信基站、工業網關和路由器等需要長時間持續運行的設備來講是一項必備的基礎功能，完善的日志功能可以非常有效地幫助運維人員排查定位設備的問題。然而，由于設備的長時間持續運行，必將會產生大量的日志數據，這些日志文件將造成相當大的空間占用。與此同時，無論是硬盤存儲器還是閃存，其價格都與存儲容量呈正相關，龐大的日志數據文件給設備的生產和運維帶來了巨大的成本負擔。

容易想到的是，為解決以上提及的問題，我們可以將每一條日志語句映射為一個索引值，在存儲日志語句的時候僅需要存儲日志語句相對應的索引值和參數即可，也就是通信行業較為常用的打點日志法。其運行邏輯的流程圖如圖2所示。

然而，打點日志法存在兩個問題，一個是打點日志必須在每次更新源代碼之后，使用獨立的索引表生成器將整個工程的源代碼掃描一遍，并提取源代碼中存在的所有日志語句，為每一條日志語句生成一個全局唯一的索引值，最終形成索引表文件。對于規模較大的軟件工程而言，以上的過程是相當耗時的。而且，一旦在源代碼更新之后沒有立即更新索引表，將造成源代碼和索引表的版本不一致，這將會使得最終生成的日志文件無法正常解析和顯示。二是打點日志沒有寫入字符串類型參數的能力，這將嚴重限制日志功能的擴展性和靈活性。

而另一種在互聯網領域常用的降低日志文件空間占用的方法是壓縮日志法，如圖3所示，也就是在寫入日志語句到文件之前對日志數據進行壓縮，這可以非常有效地降低日志文件空間占用。但是，壓縮日志數據的算法較為復雜，對于處理器算力的消耗通常也是比較大的。然而，我們并不希望在降低日志文件空間占用的同時，消耗掉太多的處理器算力，畢竟處理器算力才是整臺設備當中最寶貴的資源。

發明內容

本發明在于提供一種降低日志文件空間占用的方法、存儲介質及終端，其克服了現有的打點日志法和壓縮日志法所存在的上述問題，既可以顯著降低日志文件空間占用，又非常節約處理器算力。

為了解決上述的問題，本發明采取的技術方案如下：

第一方面，本發明提供了一種降低日志文件空間占用的方法，包括以下步驟：

S1、構建數據查找結構以及索引表；

S2、基于數據查找結構和索引表處理日志語句；

S3、保存處理后的日志語句；

所述步驟S2包括以下步驟：

S21、判斷日志語句是否存在字符串，若存在，則繼續執行步驟S22，若不存在，則日志語句處理過程結束；

S22、提取日志語句中的字符串作為目標字符串；

S23、計算目標字符串的CRC編碼；

S24、判斷數據查找結構中是否存在目標字符串的CRC編碼，若存在，則跳轉至步驟S27，若不存在，則繼續執行步驟S25；

S25、將目標字符串的CRC編碼添加至數據查找結構；

S26、將目標字符串添加到索引表；

S27、將日志語句中的目標字符串替換為索引表中對應位置的索引值，跳轉至步驟S21。