[發明專利]一種日志處理方法及裝置

有效

• 申請號: 201910704328.4
• 申請日: 2019-07-31
• 公開（公告）號: CN110515898B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 譚博
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/18;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張建

本發明提供一種日志處理方法及裝置，該方法包括：根據日志索引文件索引日志文件所需的響應時間，或者，根據日志索引文件中記錄的發生日志的時間截，確定滿足一定要求的日志索引文件，將滿足一定要求且預先存儲于索引庫的日志索引文件存儲至分布式文件系統，并通過預設規則對所述日志索引文件索引到的日志文件執行相關的處理操作。在本發明實施例中，將索引庫中滿足一定要求的日志索引文件遷移至分布式文件系統，及對日志索引文件索引到日志文件進行管理。能夠提高日志文件的運行效率及索引庫的空間利用率。

技術領域

本發明涉信息處理技術領域，尤其涉及一種日志處理方法及裝置。

背景技術

隨著科學技術的發展，計算機技術的發展也越來越快，為了了解和維護計算機系統和應用的運行狀況，常通過日志記錄計算機系統運行狀況信息和應用處理數據信息，對記錄的日志文件進行索引，并將索引的文件存儲于本地空間。

在大數據平臺上，計算機系統和應用要處理數據的數量比較龐大，日志需要記錄的計算機系統運行狀況信息和應用處理數據信息的數量的隨之增加。一方面由于在索引日志文件的過程中沒有對數據管理。導致日志的運行效率低。另一方面由于日志的本地空間的容量是有限的，不能夠存儲全部的數據，易造成數據丟失，從而導致日志的空間利用率低。

因此，如何提高日志的運行效率及空間利用率，是本發明亟待解決的問題。

發明內容

有鑒于此，本發明實施例提供一種日志處理方法及裝置，以解決現有技術中日志的運行效率低和及空間利用率較低的問題。

為實現上述目的，本發明實施例提供如下技術方案：

本發明第一方面公開了一種日志處理方法，所述方法包括：

根據日志索引文件索引日志文件所需的響應時間，或者，根據日志索引文件中記錄的發生日志的時間截，將預先存儲于索引庫的日志索引文件存儲至分布式文件系統；

根據預設規則對所述日志索引文件索引到的日志文件執行相關的處理操作。

可選的，所述預先在索引庫存儲日志索引文件的過程，包括：

收集日志，并按照日志類型建立日志文件；

根據日志文件中每一日志的基本信息，建立日志索引文件，其中，所述日志文件中每一日志的基本信息包括記錄計算機系統運行狀況信息或應用處理數據信息的時間截、序號及日志的大小；

將所述日志索引文件存儲至索引庫。

可選的，所述根據日志索引文件索引日志文件所需的響應時間，或者，根據日志索引文件中記錄的發生日志的時間截，將預先存儲于索引庫的日志索引文件存儲至分布式文件系統包括：

根據所述日志索引文件，獲取日志的基本信息，所述日志的基本信息包括記錄計算機系統運行狀況信息或應用處理數據信息的時間截；

遍歷每一日志文件，索引與所述日志的基本信息對應的日志文件；

記錄索引到所述日志的基本信息對應的日志文件所需的響應時間；

判斷所述索引到日志的基本信息對應的日志文件所需的響應時間是否大于等于預設的響應時間；

當所述索引到日志的基本信息對應的日志文件所需的響應時間大于等于預設的響應時間時，根據預先設定所述分布式文件系統的存儲路徑及名稱，將所述日志文件對應的日志索引文件遷移至所述分布式文件系統。

可選的，所述根據日志索引文件索引日志文件所需的響應時間，或者，根據日志索引文件中記錄的發生日志的時間截，將預先存儲于索引庫的日志索引文件存儲至分布式文件系統包括：