[發明專利]一種集群存儲系統的日志管理優化方法

無效

• 申請號: 201110225813.7
• 申請日: 2011-08-08
• 公開（公告）號: CN102411533A
• 公開（公告）日: 2012-04-11
• 發明（設計）人: 侯志敏
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

?

技術領域

本發明涉及一種集群存儲管理技術領域，集群存儲是通過將數據分布到集群中各節點的存儲方式，提供單一的使用接口與界面，使用戶可以方便地對所有數據進行統一使用與管理。集群存儲管理是對構成集群存儲系統的集群節點進行軟件部署配置和環境監測，使其達到集群存儲系統的部署需求，當集群節點出現故障，集群系統必須迅速做出反應，將分布在本節點的存儲空間轉移到其他節點。檢測節點故障異常信息，檢測集群存儲系統資源轉移情況變得尤為重要。

背景技術

在信息爆炸式增長的時代，文件大小和數據規模邁向TB級甚至PB級已成現實，集群存儲系統節點數已達到64節點集群數目，管理如此龐大的集群系統已經成為數據中心所面臨的嚴峻挑戰。及時跟蹤集群節點運行狀態，精確定位節點出錯信息變得尤為重要。在集群存儲系統實際的運行中，目前較為流行一種集群存儲系統日志管理方法為，定時或實時發送系統日志，實現了日志的集中傳輸，但是沒有對日志進行分析和管理，不能全局的了解整個集群存儲系統的運行情況，不能快速的定位到錯誤信息。但是隨著集群節點數的增多，對集群系統管理變得越來越復雜，精確定位集群節點的錯誤日志信息變得越來越困難。傳統的日志管理方法是定時或實時發送系統日志，實現了日志的集中傳輸，但是沒有對日志進行分析和整理，隨著節點數增多，應用模塊增多，日志信息量龐大，不能全局的了解整個集群存儲系統的運行情況，不能快速的定位到錯誤信息。

發明內容

本發明的目的是提供一種集群存儲系統的日志管理優化方法，該方法是對分散在各集群節點的日志進行集中、分析匯總，優化日志存儲方法，提供日志查看策略使系統管理者能快速定位集群存儲系統的錯誤日志信息，查看集群存儲的某應用的整體日志信息。

該方法包括四大模塊：日志集中策略、日志分析策略、日志存儲策略和日志顯示策略，首先通過日志集中策略將分散在各集群節點的日子集中到日志服務器，在日志服務器上運用日志分析策略對收集的日志信息進行分類提取，刪除冗余信息減少日志空間，運用日志存儲策略對日志分析結果進行存儲，建立日志存儲文件和相應的日志數據庫索引表，最后通過日志查看策略提取日志數據庫索引表內容，查看日志文件信息。

日志集中策略是把集群節點的日志發送到日志服務器上進行集中管理，該模塊發送日志時沿用傳統方法，集群節點實時地將系統日志發送到日志服務器，日志服務器接受日志，并對接受的日志進行日志分析處理。

日志分析策略是將集群節點的日志進行分析處理，根據設定的應用模塊包括：文件系統，高可用，監控，網絡標識進行過濾處理，使日志可以分類存儲；對集群節點相同的日志進行過濾，以防止相同日志信息占用日志空間；提取日志時間，節點信息，方便日志存儲和索引。

日志存儲策略分為日志文件存儲和日志記錄數據庫存儲，日志文件存儲是在集群日志服務中分類存儲各集群節點日志文件，日志記錄數據庫存儲是將日志分析策略得到的各分類日志以時間和節點名為索引，引用日志存儲文件，建立日志索引表，以方便用戶查看；日志存儲策略還對日志進行壓縮，以減少日志文件占用空間；日志文件有效期是有限的，過期日志不需要保存，故對過期日志文件輪詢刪除。

日志查看策略是在web系統上設置日志查看器，查看器按日志類型進行分類查看，對應數據庫中的日志索引表，并根據索引表中日志URL引用，獲得實時的日志信息，從而實現對日志信息的分類與匯總。用戶選擇相應的時間，日志類型，就能查看集群存儲應用模塊所有集群節點的日志信息。

本發明的優異效果是：對分散在各集群節點的日志進行集中、分析匯總，優化日志存儲方法，提供日志查看策略使系統管理者能快速定位集群存儲系統的錯誤日志信息，清晰地獲取有用的日志信息，了解各應用模塊整體運行情況，并及時有效地跟蹤系統日志記錄，保障系統的安全性。

附圖說明

圖1集群存儲系統日志管理架構圖；

圖2日志信息管理結構圖。

具體實施方式

????參照說明書附圖對本發明的方法作以下詳細地說明。

編寫日志集中函數，可采用傳統的SYSLOG技術，實現集群節點日志發送；

編寫日志分析函數，確定應用模塊關鍵字，對各應用模塊日志進行分析提取，采用正則表達式搜索方法實現。

編寫日志存儲數據庫函數，建立日志索引表，可采用mysql等數據庫實現，將提取信息按索引格式存放到數據庫中；

編寫日志文件存儲函數，根據日志分析函數，將日志集中的文件按日志類型分類；