[發明專利]日志庫擴容方法、系統、計算機裝置及可讀存儲介質

在審

• 申請號: 201811537206.2
• 申請日: 2018-12-14
• 公開（公告）號: CN109828960A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 石曉龍;饒鑫;黃望
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/13;G06F16/16;G06F16/18
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲

1.一種日志庫擴容方法，其特征在于，所述方法包括：

創建一Kubernetes集群，其中所述Kubernetes集群獨立于ELK日志系統的ES集群；

根據預設流量統計算法來獲取所述ELK日志系統的當前日志流量；

判斷所述獲取得到的當前日志流量是否大于預設流量；及

當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點，并將創建的ES-Data節點添加至所述ES集群中，以增加所述ES集群的吞吐能力。

2.如權利要求1所述的日志庫擴容方法，其特征在于，所述根據預設流量統計算法來獲取所述ELK日志系統的當前日志流量的步驟包括：

獲取ELK日志系統的日志數據，并將所述日志數據進行解析與轉換成統一的日志格式；及

利用SQL語句提取以時間、IP地址為主字段的日志數據，并通過時間序列分析算法統計得到所述ELK日志系統的當前日志流量。

3.如權利要求1所述的日志庫擴容方法，其特征在于，所述當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點的步驟包括：

獲取所述ES集群中的每一ES-Data節點所占用的物理資源，其中所述物理資源包括CPU資源、內存資源及I/O資源；及

當所述ES集群中存在一ES-Data節點所占用的物理資源超過預設資源時和/或當所述獲取得到的當前日志流量大于所述預設流量時，調用所述Kubernetes集群創建ES-Data節點。

4.如權利要求1所述的日志庫擴容方法，其特征在于，所述當所述獲取得到的當前日志流量大于預設流量時，調用所述Kubernetes集群創建ES-Data節點的步驟包括：

當所述獲取得到的當前日志流量大于所述預設流量時，計算所述當前日志流量與所述預設流量的差值流量；及

根據所述差值流量調用所述Kubernetes集群創建一個或多個ES-Data節點，其中所述創建的ES-Data節點的個數與所述差值流量的大小匹配。

5.如權利要求1-4任意一項所述的日志庫擴容方法，其特征在于，所述將創建的ES-Data節點添加至所述ES集群中的步驟包括：

在所述ES集群中建立Zen發現機制，并通過所述Zen發現機制將所述Kubernetes集群創建的ES-Data節點添加至所述ES集群中。

6.如權利要求1或2所述的日志庫擴容方法，其特征在于，所述將創建的ES-Data節點添加至所述ES集群中，以增加所述ES集群的吞吐能力的步驟之后還包括；

監測所述ELK日志系統的當前日志流量是否小于所述預設流量；及

當所述ELK日志系統的當前日志流量小于所述預設流量時，將所述Kubernetes集群創建的ES-Data節點上的數據同步至所述ES集群，并在完成數據同步后釋放所述Kubernetes集群創建的ES-Data節點。

7.如權利要求1或2所述的日志庫擴容方法，其特征在于，所述將創建的ES-Data節點添加至所述ES集群中，以增加所述ES集群的吞吐能力的步驟之后還包括：

監測所述ELK日志系統的當前日志流量是否小于所述預設流量且持續時間是否大于一預設時間；及

當所述ELK日志系統的當前日志流量小于所述預設流量且持續時間大于所述預設時間時，將所述Kubernetes集群創建的ES-Data節點上的數據同步至所述ES集群，并在完成數據同步后釋放所述Kubernetes集群創建的ES-Data節點。