[發明專利]分布式文件系統日志改進方法、系統、設備和存儲介質

在審

• 申請號: 202210039867.2
• 申請日: 2022-01-14
• 公開（公告）號: CN114443584A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 賈濤;王帥陽;劉少荘
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/182
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 田祥寶

本發明提出了分布式文件系統日志改進方法、系統、設備和存儲介質，該方法包括按照分布式文件系統的使用情況，將分布式文件系統日志按照場景分類；對分類后的每個場景分別通過配置項配置日志開關；配置日志開關之后，分別對每個場景中流程代碼的關鍵位置添加重要級別日志，以及根據所述日志開關的狀態確定是否輸出。以及通過分布式文件系統自帶的動態生效命令進行動態調整，基于該方法，還提出了分布式文件系統日志改進系統、設備和存儲介質。本發明解決HDFS使用和定位問題時的DEBUG日志冗余繁雜、無法快速找到有用信息的弊端，提升HDFS使用過程中出現問題時的定位效率，提升HDFS日志系統的可用性、易用性和實用性。

技術領域

本發明屬于分布式文件系統日志管理技術領域，特別涉及分布式文件系統日志改進方法、系統、設備和存儲介質。

背景技術

Hadoop實現的一個分布式文件系統(Hadoop Distributed File System)。HDFS作為一個比較成熟的分布式文件系統，在大數據技術體系中占據著重要位置。

但分布式文件系統的日志系統卻不夠靈活易用，在使用時比較困難。當前HDFS服務端的日志分級較少，完全依賴于Log4j中的日志級別，一共有TRACE、INFO、DEBUG、WARN、ERROR五級，默認打印的日志等級為INFO，調整打印日志等級時需要全局調整或單個類調整，全局調整時需要重啟服務，因此在使用時面臨以下問題：(1)日志打印級別默認為INFO，INFO級別日志無法獲取到有用的日志信息，比如某些場景下需要查看上層應用調用了HDFS的哪個RPC接口，默認的日志級別則不會打印相關調用信息；(2)調整全局日志打印級別為DEBUG時，需要重新啟動服務，影響業務正常使用；(3)開啟全局DEBUG日志級別后，由于是全局調整，所以往往會打印很多無用的DEBUG級別信息，找到所需要的關鍵日志比較困難，并且會占用大量的存儲空間；(4)使用調整單個類的日志級別時，由于代碼調用往往涉及多個類的日志，所以單獨調整時可用性較差。

發明內容

為了解決上述技術問題，本發明提出了分布式文件系統日志改進方法、系統、設備和存儲介質。可以解決HDFS使用和定位問題時的DEBUG日志冗余繁雜、無法快速找到有用信息的弊端，提升HDFS使用過程中出現問題時的定位效率，提升HDFS日志系統的可用性、易用性和實用性。

為實現上述目的，本發明采用以下技術方案：

分布式文件系統日志改進方法，包括以下步驟：

按照分布式文件系統的使用情況，將分布式文件系統日志按照場景分類；

對分類后的每個場景分別通過配置項配置日志開關；

配置日志開關之后，分別對每個場景中流程代碼的關鍵位置添加重要級別日志，以及根據所述日志開關的狀態確定是否輸出。

進一步的，所述方法還包括通過ReconfigurationServlet工具實現配置項變更，分別添加每個場景日志動態修改時的處理實現，然后通過分布式文件系統自帶的動態生效命令進行動態調整。

進一步的，在所述日志改進之后還包括：

在服務器啟動時讀取配置文件中配置項，如果無配置項，則日志為關閉狀態；

動態調整日志開關，執行參數動態調整命令；以及根據日志開關的狀態決定是否打印日志。

進一步的，所述按照分布式文件系統的使用情況，將分布式文件系統日志按照場景分類具體包括：按照分布式文件系統的使用情況，將分布式文件系統日志按照場景分類為讀場景、寫場景和除讀寫之外的第三場景；

所述讀場景包括元數據的獲取文件信息、獲取給定文件偏移和數據長度的所有數據塊的數據節點，以及數據傳輸時讀取指定塊號的塊到文件；