[發明專利]一種基于ELK的數據自動清理方法

在審

• 申請號: 201711205372.8
• 申請日: 2017-11-27
• 公開（公告）號: CN107817974A
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 王陽
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F11/30;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 闞恭勇

1.一種基于ELK的數據自動清理方法，其特征在于，

通過對數據總線Kafka的優化并結合curator的使用，完成ELK平臺的數據自動化清理。

2.根據權利要求1所述的方法，其特征在于，

優化數據總線Kafka配置參數，配合Kafka清理機制，完成對Kafka持久化消息的清理和consumer_offsets清除，同時參數變量取值采用freemarker技術，通過Linux例行性工作調用shell腳本，結合curator工具，完成對ES索引的定期自動化清理。

3.根據權利要求2所述的方法，其特征在于，

具體操作如下：

步驟1，通過Kafka配置文件中log.cleanup.policy、log.retention.hours、log.retention.bytes三個參數設置和調優，實現Kafka集群對持久化數據的清理；通過log.segment.bytes和log.segment.bytes兩個參數的設置和調優，實現Kafka集群對偏移量consumer_offsets的清除工作；變量取值采用freemarker技術，

具體參數設置如下：

log.cleanup.policy＝delete

log.retention.hours＝${ng.coms.Brokers.log_retention_hours}

log.retention.bytes＝${ng.coms.Brokers.log_retention_bytes}

log.segment.bytes＝${ng.coms.Brokers.log_segment_bytes}

log.cleaner.enable＝true

步驟2，安裝并啟動curator，清理周期為7天；delete_indices文件的關鍵配置如下：

步驟3，通過shell清理腳本調用curator，關鍵代碼如下：

curator--config/opt/curator-master/examples/curator.yml/opt/curator-master/examples/actions/delete_indices.yml

步驟4，通過Linux的例行性工作，完成定期調用清理shell腳本，刪除時間為每天23點，關鍵代碼如下：

vi/etc/crontab

0 23***root/opt/curator.sh。