[發明專利]一種基于ELK的數據自動清理方法

在審

• 申請號: 201711205372.8
• 申請日: 2017-11-27
• 公開（公告）號: CN107817974A
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 王陽
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F11/30;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 闞恭勇

技術領域

本發明涉及涉及ELK、Shell、Kafka、Freemarker等技術領域，尤其涉及一種基于ELK的數據自動清理方法。

背景技術

ElasticSearch是一個基于Lucene的全文搜索服務。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java開發的，，并作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜索引擎。設計用于云計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便，是一款非常優秀的全文搜索服務。Elasticsearch使用Lucene作為內部引擎，但是在你使用它做全文搜索時，只需要使用統一開發好的API即可，而并不需要了解其背后復雜的Lucene的運行原理。當然Elasticsearch并不僅僅是Lucene那么簡單，它不僅包括了全文搜索功能，還可以進行以下工作：分布式實時文件存儲，并將每一個字段都編入索引，使其可以被搜索。實時分析的分布式搜索引擎。可以擴展到上百臺服務器，處理PB級別的結構化或非結構化數據。這么多的功能被集成到一臺服務器上，你可以輕松地通過客戶端或者任何你喜歡的程序語言與ES的RESTful API進行交流。

日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。通常，日志被分散的儲存不同的設備上。如果管理數十上百臺服務器，還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務器上的日志收集匯總。集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kibana三個開源工具組成。使用ELK作為日志分析工具，采集nginx訪問日志，項目log日志，心跳檢測日志，服務器度量日志等，每天產生大量索引(Index)，占用磁盤空間，對于過期數據需要進行刪除來釋放磁盤空間。而ELK平臺中的數據總線Kafka作為消息中轉站，同意會持久化海量數據和每條數據對應的偏移量，這兩部分的磁盤空間占用同樣是巨大的，需要進行定期清理，從而保證集群的正常運行。

發明內容

為了解決以上技術問題，本發明提出了一種基于ELK的數據自動清理方法。按本發明的步驟，實現常見的ELK日志系統的數據清理工作。在大大節省開發運維成本的同時，可以接入并兼容市面上各類ES和Kafka技術進行日志采集的系統，將復雜繁瑣需要大量人工操作的數據清理工作簡單化，自動化，規范化，進而實現ELK平臺的長期有效運行。

本發明的技術方案是：

一種基于ELK的數據自動清理方案，通過對數據總線Kafka的優化并結合curator的使用，完成ELK平臺的數據自動化清理。主要包含以下內容：

優化數據總線Kafka配置參數，配合Kafka清理機制，完成對Kafka持久化消息的清理和consumer_offsets清除，同時參數變量取值采用freemarker技術，保證優化參數的靈活性，適用于不用的生產環境，保障發明的普適性；通過Linux例行性工作調用shell腳本，結合curator工具，完成對ES索引的定期自動化清理。

本發明能很好的解決ELK平臺最常見的數據清理問題，定期釋放機器存儲空間，防止因為數據盤滿帶來的集群當機，有效的節約可貴的物理資源，解決了ELK方案中的數據管理清理方式的缺失。避免Kafka的消息堆積和ELK每天產生的大量索引(Index)占用磁盤空間問題。將繁瑣的數據清理自動化，簡單化，智能化，且不用擔心因為手動清理數據帶來的人工操作失誤，數據丟失，數據不同步等問題。大大節約了開發運維成本、人員成本，縮短了開發部署運維的周期，操作簡單，易用性，通用性都得到保證。

具體操作如下：