日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于ELK的數據自動清理方法在審

專利信息
申請號: 201711205372.8 申請日: 2017-11-27
公開(公告)號: CN107817974A 公開(公告)日: 2018-03-20
發明(設計)人: 王陽 申請(專利權)人: 鄭州云海信息技術有限公司
主分類號: G06F8/30 分類號: G06F8/30;G06F11/30;G06F17/30
代理公司: 濟南信達專利事務所有限公司37100 代理人: 闞恭勇
地址: 450000 河南省鄭州市*** 國省代碼: 河南;41
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 elk 數據 自動 清理 方法
【說明書】:

技術領域

發明涉及涉及ELK、Shell、Kafka、Freemarker等技術領域,尤其涉及一種基于ELK的數據自動清理方法。

背景技術

ElasticSearch是一個基于Lucene的全文搜索服務。它提供了一個分布式多用戶能力的全文搜索引擎,基于RESTful web接口。ElasticSearch是用Java開發的,,并作為Apache許可條款下的開放源碼發布,是當前流行的企業級搜索引擎。設計用于云計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便,是一款非常優秀的全文搜索服務。Elasticsearch使用Lucene作為內部引擎,但是在你使用它做全文搜索時,只需要使用統一開發好的API即可,而并不需要了解其背后復雜的Lucene的運行原理。當然Elasticsearch并不僅僅是Lucene那么簡單,它不僅包括了全文搜索功能,還可以進行以下工作:分布式實時文件存儲,并將每一個字段都編入索引,使其可以被搜索。實時分析的分布式搜索引擎。可以擴展到上百臺服務器,處理PB級別的結構化或非結構化數據。這么多的功能被集成到一臺服務器上,你可以輕松地通過客戶端或者任何你喜歡的程序語言與ES的RESTful API進行交流。

日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷,性能安全性,從而及時采取措施糾正錯誤。通常,日志被分散的儲存不同的設備上。如果管理數十上百臺服務器,還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理,例如:開源的syslog,將所有服務器上的日志收集匯總。集中化管理日志后,日志的統計和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實現檢索和統計,但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kibana三個開源工具組成。使用ELK作為日志分析工具,采集nginx訪問日志,項目log日志,心跳檢測日志,服務器度量日志等,每天產生大量索引(Index),占用磁盤空間,對于過期數據需要進行刪除來釋放磁盤空間。而ELK平臺中的數據總線Kafka作為消息中轉站,同意會持久化海量數據和每條數據對應的偏移量,這兩部分的磁盤空間占用同樣是巨大的,需要進行定期清理,從而保證集群的正常運行。

發明內容

為了解決以上技術問題,本發明提出了一種基于ELK的數據自動清理方法。按本發明的步驟,實現常見的ELK日志系統的數據清理工作。在大大節省開發運維成本的同時,可以接入并兼容市面上各類ES和Kafka技術進行日志采集的系統,將復雜繁瑣需要大量人工操作的數據清理工作簡單化,自動化,規范化,進而實現ELK平臺的長期有效運行。

本發明的技術方案是:

一種基于ELK的數據自動清理方案,通過對數據總線Kafka的優化并結合curator的使用,完成ELK平臺的數據自動化清理。主要包含以下內容:

優化數據總線Kafka配置參數,配合Kafka清理機制,完成對Kafka持久化消息的清理和consumer_offsets清除,同時參數變量取值采用freemarker技術,保證優化參數的靈活性,適用于不用的生產環境,保障發明的普適性;通過Linux例行性工作調用shell腳本,結合curator工具,完成對ES索引的定期自動化清理。

本發明能很好的解決ELK平臺最常見的數據清理問題,定期釋放機器存儲空間,防止因為數據盤滿帶來的集群當機,有效的節約可貴的物理資源,解決了ELK方案中的數據管理清理方式的缺失。避免Kafka的消息堆積和ELK每天產生的大量索引(Index)占用磁盤空間問題。將繁瑣的數據清理自動化,簡單化,智能化,且不用擔心因為手動清理數據帶來的人工操作失誤,數據丟失,數據不同步等問題。大大節約了開發運維成本、人員成本,縮短了開發部署運維的周期,操作簡單,易用性,通用性都得到保證。

具體操作如下:

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于鄭州云海信息技術有限公司,未經鄭州云海信息技術有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201711205372.8/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 亚洲国产精品肉丝袜久久| 中文字幕天天躁日日躁狠狠躁免费| 视频一区二区中文字幕| 欧美综合在线一区| 国产乱一区二区三区视频| 国产精品69久久久| 亚洲精品久久久久不卡激情文学| 国产日韩欧美第一页| 人人澡超碰碰97碰碰碰| 99久久婷婷国产精品综合| 午夜影院一级片| 99爱精品在线| 午夜免费片| 国产乱人伦精品一区二区| 欧美日韩中文国产一区发布| 欧美一区二区色| 日韩精品福利片午夜免费观看| 日韩中文字幕在线一区| 性欧美精品动漫| 国产馆一区二区| 国产色婷婷精品综合在线播放| 久久精品国产亚| 日韩中文字幕亚洲精品欧美| 538在线一区二区精品国产 | 伊人精品一区二区三区| 欧美午夜精品一区二区三区| 99久久久国产精品免费无卡顿| 久99久视频| 欧美久久精品一级c片| 欧美日韩一区二区高清| 激情aⅴ欧美一区二区三区| 国产视频一区二区在线| 国产精自产拍久久久久久蜜| 欧美三区二区一区| 国产精品99999999| 国产午夜一区二区三区| bbbbb女女女女女bbbbb国产| 色噜噜狠狠狠狠色综合久| 国产欧美一区二区三区视频| 午夜肉伦伦| 亚洲国产精品肉丝袜久久| 国产综合久久精品| 综合久久一区| 91久久精品国产91久久性色tv | 中文字幕精品一区二区三区在线| 在线国产精品一区| 欧美精品久| 久久久久亚洲| av午夜影院| 色综合久久网| 亚洲区在线| 国产精品国产三级国产播12软件| 国产精品一区二区毛茸茸| xxxx18日本护士高清hd| 视频一区二区国产| 国产在线精品一区| 国产精品免费一区二区区| 国产盗摄91精品一区二区三区| 国产精品国产三级国产专区53| 91精品一区在线观看| 午夜电影一区二区三区| 综合久久色| 欧美日韩精品不卡一区二区三区 | 91精品久| 在线国产二区| 国产高清在线一区| 午夜电影理伦片2023在线观看| 日本不卡精品| 国产精品亚洲第一区| 老太脱裤子让老头玩xxxxx| 国产视频一区二区不卡 | 久久免费视频一区二区| 国产精欧美一区二区三区久久久| 91热精品| 国产精品久久久久99| 999久久久国产| 欧美亚洲精品suv一区| 久久亚洲精品国产日韩高潮| 国产精品欧美久久| 欧美日韩一二三四区| 国产在线精品一区二区在线播放| 99国产伦精品一区二区三区 | 99精品一区二区| 日本一二三区视频在线| 99视频一区| 国产精品无码永久免费888| 色狠狠色狠狠综合| 国产欧美视频一区二区| 国产一区二区三区伦理| 久久天天躁夜夜躁狠狠躁2022| 亚洲午夜国产一区99re久久| 91精品婷婷国产综合久久竹菊| 亚洲欧美另类久久久精品2019| xx性欧美hd| 国产一区欧美一区| 97人人模人人爽视频一区二区 | 日韩中文字幕久久久97都市激情| 欧美精品一级二级| xxxx在线视频| 午夜社区在线观看| 国产精品乱码一区| av中文字幕一区二区| 销魂美女一区二区| 手机看片国产一区| 国产不卡网站| 午夜裸体性播放免费观看| 狠狠色狠狠色综合系列| 国产一区二区三区精品在线| 国产91视频一区| 美女直播一区二区三区| 国产区91| 国产一区二区在线免费| 999久久久国产精品| 国产va亚洲va在线va| 午夜国产一区二区| 欧洲精品一区二区三区久久| 国产精品久久久视频| 国产精品1区2区| 久久综合狠狠狠色97| 久久久久久久久亚洲精品一牛| 性色av色香蕉一区二区| 狠狠躁日日躁狂躁夜夜躁av| 国产原创一区二区 | 国产午夜精品一区二区三区视频| xxxx在线视频| 午夜免费网址| 91高清一区| 日韩久久影院| 97人人揉人人捏人人添| 久爱视频精品| 久久五月精品| 国产91视频一区| 欧美一区二区三区精品免费| 国产91福利视频| 国产一区二区视频免费观看| 国产精品日韩一区二区| 久久99精品久久久久国产越南| 91九色精品| 精品国产仑片一区二区三区| 国内揄拍国产精品| 国产高清在线观看一区| 国产经典一区二区| 97午夜视频| 国产精品69av| 精品国产九九| 狠狠色成色综合网| 国产69精品久久99不卡解锁版 | 性夜影院在线观看| 欧洲国产一区| 国产一区二区中文字幕| 自拍偷在线精品自拍偷写真图片| 国产一区观看| 久久噜噜少妇网站| 亚洲乱亚洲乱妇50p| 欧美日韩国产影院| 亚洲午夜天堂吃瓜在线| 99精品久久久久久久婷婷| 91热精品| 亚洲欧美另类综合| 久久99亚洲精品久久99果| 久久精品国产亚| 日韩亚洲欧美一区二区| 欧美一区二区三区爽大粗免费| 91久久国产露脸精品国产护士| 浪潮av色| 欧美人妖一区二区三区| 亚洲福利视频二区| 久久艹国产精品| 国产欧美亚洲一区二区| 亚洲国产偷| 少妇高潮一区二区三区99小说| 精品一区中文字幕| 99久久精品国产国产毛片小说| 国产精品免费专区| 亚洲国产99| 亚洲欧洲国产伦综合| 精品久久小视频| 国产欧美一区二区三区免费视频 | 97欧美精品| 狠狠色噜噜狠狠狠狠| 国产一二区精品| 亚洲精品久久久中文| free×性护士vidos欧美| 国语精品一区| 国产欧美精品一区二区三区小说 | 8x8x国产一区二区三区精品推荐| 免费看性生活片| 7777久久久国产精品| 日韩一级片在线免费观看| 国产精品一区亚洲二区日本三区| 午夜无人区免费网站| xxxxx色| 精品亚洲午夜久久久久91| 国产精欧美一区二区三区久久| 国产精品久久国产三级国电话系列| 97人人澡人人爽91综合色| 99久久国产综合精品麻豆| 日本黄页在线观看| 国内精品国产三级国产99| 国产女人和拘做受在线视频| 亚洲自拍偷拍一区二区三区| 四季av中文字幕一区| 久久久久久久国产| 一区二区三区免费高清视频| 一区二区三区国产精华| 国产精品乱码一区| 国产精品美女久久久免费| 99视频国产精品| 国产一区精品在线观看| 日本一区二区在线电影| 97久久国产精品| 国产亚洲综合一区二区| 一本色道久久综合亚洲精品浪潮| 久久久999精品视频| 午夜激情看片| 国产区二区| 亚州精品中文| 国产精品久久久久久久综合| 香港三日本8a三级少妇三级99 | 亚洲欧洲日本在线观看| 一区二区国产精品| 日韩av在线网址| 久久一区二区三区欧美| 国91精品久久久久9999不卡| 浪潮av色| 亚洲精品日韩色噜噜久久五月| 精品久久一区| 国产精品视频一区二区在线观看| 日本xxxx护士高潮hd| 国产乱了高清露脸对白| 国产无套精品一区二区| 国产一级大片| 日韩中文字幕久久久97都市激情| 国产精品区一区二区三| 男人的天堂一区二区| 综合国产一区| 999久久久国产| 国产精品5区| 久久国产精品久久| 国产91精品高清一区二区三区| 亚洲制服丝袜中文字幕| 国产视频精品一区二区三区| 久久精品视频3| 国产呻吟久久久久久久92| 国产一区=区| 午夜爽爽视频|