[發明專利]一種集群的日志采集方法、系統、設備以及介質

有效

• 申請號: 202010092740.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111258722B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 崔潤興
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 楊帆

本發明公開了一種集群的日志采集方法，包括以下步驟：注冊事件監聽并全量掃描；利用所述事件監聽獲取的信息和所述全量掃描得到的信息生成容器列表；根據所述容器列表中的每一個容器的環境變量的預設標識識別進行日志采集的容器；獲取與所述進行日志采集的容器對應的采集參數；利用所述采集參數生成采集配置文件；將所述采集配置文件部署到采集工具中以進行日志采集。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明提出的方案能夠以最輕量級，最高效，聲明式的配置進行容器日志的采集，解決了傳統容器日志采集時的高冗余，高耗能，管理困難的問題。

技術領域

本發明涉及日志采集領域，具體涉及一種集群的日志采集方法、系統、設備以及存儲介質。

背景技術

容器技術是一種比虛擬機技術更加節省計算資源也更加靈活的虛擬化技術。隨著容器技術的發展，出現了很多容器編排引擎，用于對容器進行管理，Kubernetes技術脫穎而出成為了容器編排領域的事實標準。在將容器技術應用到實際生產環境中時，由于技術門檻的緣故，僅僅使用Kubernetes進行應用系統部署顯得比較困難，為此需要開發對Kubernetes集群進行管理的軟件系統。

日志作為應用的一個關鍵環節，尤其是在使用容器編排工具進行容器調度的動態環境下，程序的排錯和健康狀態的分析很多都依賴日志信息的收集。在容器平臺這種動態的環境下，如何在應用的容器化過程中，方便快捷的自動發現和采集日志是將傳統應用容器化部署的一個重要方面。

在管理Kubernates集群的軟件系統中，對所部署容器的標準日志的采集，是他們了解自己的系統運行狀態與排除錯誤的一種手段,是系統管理中，必不可少的一部分。

目前的采集工具都需要事先手動配置好日志采集方式和路徑等信息，由于它無法自動感知到容器的生命周期變化或者動態漂移，所以它無法動態地去配置。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例提出一種集群的日志采集方法，包括以下步驟：

注冊事件監聽并全量掃描；

利用所述事件監聽獲取的信息和所述全量掃描得到的信息生成容器列表；

根據所述容器列表中的每一個容器的環境變量的預設標識識別進行日志采集的容器；

獲取與所述進行日志采集的容器對應的采集參數；

利用所述采集參數生成采集配置文件；

將所述采集配置文件部署到采集工具中以進行日志采集。

在一些實施例中，利用所述事件監聽獲取的信息和掃描得到的信息生成容器列表，進一步包括：

接收每一個宿主機節點發送的容器事件的監聽數據；

根據預設接口掃描并獲取所有容器的信息；

根據所述監聽數據和所述所有容器的信息生成容器列表。

在一些實施例中，獲取與所述進行日志采集的容器對應的采集參數，進一步包括：

獲取所述進行日志采集的容器的元數據信息；

獲取所述進行日志采集的容器的環境變量中的日志路徑。

在一些實施例中，利用所述采集參數生成采集配置文件，進一步包括：

利用所述元數據信息和所述日志路徑生成所述采集配置文件；或，

利用所述元數據信息生成所述采集配置文件。

基于同一發明構思，根據本發明的另一個方面，本發明的實施例還提供了一種集群的日志采集系統，包括：

采集模塊，所述采集模塊配置為注冊事件監聽并全量掃描；