[發明專利]一種日志管理的方法及裝置

在審

• 申請號: 201810494832.1
• 申請日: 2018-05-22
• 公開（公告）號: CN108710691A
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 李國濤;崔俊珩;張棟;石皓軒
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種日志管理的方法，其特征在于，包括：

確定日志來源；

從所述日志來源獲取待處理日志；

將獲取的所述待處理日志發送給Logstash；

利用Logstash對獲取的所述待處理日志進行解析和過濾處理，將解析和過濾處理后的待處理日志發送給Elasticsearch；

利用所述Elasticsearch存儲接收到的所述待處理日志；

利用Kibana向用戶展示所述待處理日志。

2.根據權利要求1所述的方法，其特征在于，

所述確定日志來源，包括：

確定日志存儲路徑；

確定所述日志存儲路徑中的至少一個日志文件；

所述從所述日志來源獲取待處理日志，包括：

為每個所述日志文件設置一個采集進程；

利用每個所述采集進程采集對應的日志文件中的所述待處理日志；

記錄每個所述采集進程采集對應的日志文件時的偏移量；

當與任一目標日志文件的連接發生中斷時，實時監測與所述目標日志文件的連接是否重新建立，如果是，則獲取所述目標日志文件對應的偏移量，從所述目標日志文件對應的偏移量開始，利用所述目標日志文件對應的采集進程繼續從所述目標日志文件采集所述待處理日志。

3.根據權利要求1所述的方法，其特征在于，

進一步包括：

當檢測到所述Logstash的解析和過濾處理的過程發生數據擁塞時，降低獲取所述待處理日志的速度，在檢測到所述Logstash的解析和過濾處理的過程的數據擁塞解除時，恢復獲取所述待處理日志的速度。

4.根據權利要求1所述的方法，其特征在于，

進一步包括：

預先設置正則表達式；

在所述利用所述Elasticsearch存儲接收到的所述待處理日志之前，進一步包括：

將解析和過濾后的所述待處理日志按照所述正則表達式轉換為結構化數據；

將轉換為結構化數據的所述待處理日志發送給所述Elasticsearch；

所述利用所述Elasticsearch存儲接收到的所述待處理日志，包括：

利用所述Elasticsearch存儲轉換為結構化數據的所述待處理日志。

5.根據權利要求1-4中任一所述的方法，其特征在于，

進一步包括：

預先與Logstash建立基于安全傳輸層協議TLS的雙向認證連接；

所述將獲取的所述待處理日志發送給Logstash，包括：

將獲取的所述待處理日志進行加密；

將加密后的所述待處理日志通過所述雙向認證連接發送給所述Logstash；

和/或，

進一步包括：

為所述Kibana設置反向代理；

所述利用Kibana向用戶展示所述待處理日志，包括：

利用所述Kibana通過所述反向代理向用戶展示所述待處理日志。

6.一種日志管理的裝置，其特征在于，包括：

日志獲取單元，用于確定日志來源，從所述日志來源獲取待處理日志，將獲取的所述待處理日志發送給Logstash；

解析過濾單元，用于利用Logstash對獲取的所述待處理日志進行解析和過濾處理，將解析和過濾處理后的待處理日志發送給Elasticsearch；

日志存儲單元，用于利用所述Elasticsearch存儲接收到的所述待處理日志；

展示單元，用于利用Kibana向用戶展示所述待處理日志。