[發(fā)明專利]一種自動(dòng)化更新配置fluentd的配置文件的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110331526.8
• 申請(qǐng)日: 2021-03-29
• 公開(kāi)（公告）號(hào): CN112925695B
• 公開(kāi)（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 白洋洋;江燕;于沈課;李珂;蔡衛(wèi)衛(wèi)
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F9/445
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 闞恭勇

本發(fā)明提供一種自動(dòng)化更新配置fluentd的配置文件的方法，屬于云計(jì)算領(lǐng)域，本發(fā)明基于kubernetes環(huán)境監(jiān)聽(tīng)crd創(chuàng)建、刪除事件，開(kāi)啟或關(guān)閉自動(dòng)增刪fluentd基本配置參數(shù)，從而動(dòng)態(tài)的對(duì)這些應(yīng)用日志進(jìn)行收集，實(shí)現(xiàn)動(dòng)態(tài)存儲(chǔ)，實(shí)現(xiàn)自動(dòng)更新fluentd配置文件。最終實(shí)現(xiàn)日志平臺(tái)的靈活管理。

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算領(lǐng)域，尤其涉及一種自動(dòng)化更新配置fluentd的配置文件的方法。

背景技術(shù)

隨著kubernetes越來(lái)越活躍，加入kubernetes的云原生應(yīng)用越來(lái)越多，對(duì)集群的監(jiān)控，日志的收集不斷提出各種挑戰(zhàn)，過(guò)去，日志收集整體環(huán)境比較直接，有限的靜態(tài)物理服務(wù)器和虛擬機(jī)，以及有限數(shù)量的監(jiān)控指標(biāo)。但是隨著容器技術(shù)，及微服務(wù)架構(gòu)的廣泛應(yīng)用，要收集的日志的資源實(shí)體數(shù)量激增，且不確定性越來(lái)越強(qiáng)。對(duì)系統(tǒng)的靈活性和可伸縮性提出了更高的要求，尤其伴隨kubernetes這樣的協(xié)調(diào)器一起使用時(shí)，資源的變化更加多樣，跟蹤起來(lái)越發(fā)困難，環(huán)境的復(fù)雜性和分布的增加，也使得部署監(jiān)控更加困難，短暫的環(huán)境此問(wèn)題尤其突出。

日志管理平臺(tái)有這樣的需求：平臺(tái)支持基于某些應(yīng)用的開(kāi)啟或關(guān)閉自動(dòng)增刪fluentd基本配置參數(shù)，從而動(dòng)態(tài)的對(duì)這些應(yīng)用日志進(jìn)行收集，實(shí)現(xiàn)動(dòng)態(tài)存儲(chǔ)。最終實(shí)現(xiàn)日志平臺(tái)的靈活管理。

發(fā)明內(nèi)容

為了解決以上技術(shù)問(wèn)題，本發(fā)明提供了一種kubernetes環(huán)境監(jiān)聽(tīng)crd(本文中的crd叫做FluentdConfig CRD)創(chuàng)建、刪除事件，實(shí)現(xiàn)自動(dòng)更新fluentd配置文件的一種方法，解決復(fù)雜多變環(huán)境下頻繁變動(dòng)fluentd的配置文件的問(wèn)題，支持自動(dòng)的增加或刪除相應(yīng)配置，從而大大降低了人工操作帶來(lái)的風(fēng)險(xiǎn)，并且大大減少了工作量。

本發(fā)明的技術(shù)方案是：

一種自動(dòng)化更新配置fluentd的配置文件的方法，包括如下步驟：

(1)建立FluentdConfig CR，并將需要增加或更改的配置寫在FluentdConfig CR中；

(2)Controller監(jiān)聽(tīng)創(chuàng)建FluentdConfig CR事件，并處理該事件，將其中的配置提取并加工；

(3)Controller與k8s apiserver交互獲取fluentd的configmap，并將配置更新到該資源中；

(4)刪除已存在的FluentdConfig CR；

(5)Controller監(jiān)聽(tīng)刪除FluentdConfig CR事件，并提取事件中的配置信息，將該配置從fluentd的配置中刪除。

進(jìn)一步的，

開(kāi)始，租戶側(cè)創(chuàng)建k8s集群，部署chart(fluentd、fluentd-crd、啟動(dòng)fluentd-config-controller)，然后controller會(huì)列出當(dāng)前環(huán)境中所有的FluentdConfig CR，然后讀取它們的配置后對(duì)fluentd的配置進(jìn)行全量更新；

用戶發(fā)起請(qǐng)求，開(kāi)啟服務(wù)，該命令觸發(fā)FluentdConfig CR的創(chuàng)建；新建的FluentdConfig CR會(huì)產(chǎn)生一個(gè)事件傳給controller，Controller監(jiān)聽(tīng)到FluentdConfig CR的創(chuàng)建，提取并處理FluentdConfig CR中的配置，并將結(jié)果更新到fluentd的配置文件；

controller處理后對(duì)fluentd的配置文件進(jìn)行增量更新，F(xiàn)luentd reload配置文件后開(kāi)始收集配置中的日志；