[發明專利]日志庫擴容方法、系統、計算機裝置及可讀存儲介質

在審

• 申請號: 201811537206.2
• 申請日: 2018-12-14
• 公開（公告）號: CN109828960A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 石曉龍;饒鑫;黃望
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/13;G06F16/16;G06F16/18
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲

本發明提供一種日志庫擴容方法、系統、計算機裝置及計算機可讀存儲介質。所述日志庫擴容方法包括：創建一Kubernetes集群；根據預設流量統計算法來獲取所述ELK日志系統的當前日志流量；判斷所述獲取得到的當前日志流量是否大于預設流量；及當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES?Data節點，并將創建的ES?Data節點添加至所述ES集群中，以增加所述ES集群的吞吐能力。本發明基于云監測技術來實時監測日志系統的日志流量，并根據所述日志流量大小來動態對日志系統進行擴容，擴容服務穩定，可靠性高，提升用戶使用體驗。

技術領域

本發明涉及日志數據處理領域，尤其涉及一種日志庫擴容方法、系統、計算機裝置及計算機可讀存儲介質。

背景技術

目前企業的日志系統大多數都是基于ELK(Elasticsearch、Logstash及Kibana的簡稱)開發的，現有ELK日志系統在擴容時需要手動操作，在操作上存在很大的限制，操作不方便，擴容期間往往有很多的不可見因素可能會導致日志系統擴容后出現一系列問題，一旦出現問題，若想要恢復至之前的狀態，往往需要一定的時間，嚴重影響用戶體驗。

發明內容

鑒于上述，本發明提供一種日志庫擴容方法、系統、計算機裝置及計算機可讀存儲介質，其可實現自動擴容，擴容服務穩定。

本申請一實施方式提供一種日志庫擴容方法，所述方法包括：

創建一Kubernetes集群，其中所述Kubernetes集群獨立于ELK日志系統的ES集群；

根據預設流量統計算法來獲取所述ELK日志系統的當前日志流量；

判斷所述獲取得到的當前日志流量是否大于預設流量；及

當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點，并將創建的ES-Data節點添加至所述ES集群中，以增加所述ES集群的吞吐能力。

優選地，所述根據預設流量統計算法來獲取所述ELK日志系統的當前日志流量的步驟包括：

獲取ELK日志系統的日志數據，并將所述日志數據進行解析與轉換成統一的日志格式；及

利用SQL語句提取以時間、IP地址為主字段的日志數據，并通過時間序列分析算法統計得到所述ELK日志系統的當前日志流量。

優選地，所述當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點的步驟包括：

獲取所述ES集群中的每一ES-Data節點所占用的物理資源，其中所述物理資源包括CPU資源、內存資源及I/O資源；及

當所述ES集群中存在一ES-Data節點所占用的物理資源超過預設資源時和/或當所述獲取得到的當前日志流量大于所述預設流量時，調用所述Kubernetes集群創建ES-Data節點。

優選地，所述當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點的步驟包括：

當所述獲取得到的當前日志流量大于所述預設流量時，計算所述當前日志流量與所述預設流量的差值流量；及

根據所述差值流量調用所述Kubernetes集群創建一個或多個ES-Data節點，其中所述創建的ES-Data節點的個數與所述差值流量的大小匹配。

優選地，所述將創建的ES-Data節點添加至所述ES集群中的步驟包括：

在所述ES集群中建立Zen發現機制，并通過所述Zen發現機制將所述Kubernetes集群創建的ES-Data節點添加至所述ES集群中。