[發(fā)明專利]基于kuberntes的flink任務(wù)日志elk采集方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010741854.0
• 申請日: 2020-07-29
• 公開（公告）號: CN111782498A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 彭亮
• 申請（專利權(quán)）人: 杭州玳數(shù)科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F8/61;G06F9/455
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 陳紅橋

本發(fā)明提供一種基于kuberntes的flink任務(wù)日志elk采集方法和系統(tǒng)，所述方法包括以下步驟：制作包含filebeat安裝包的flink鏡像；在flinkclient中確定啟動需要加載的flink鏡像和flink腳本；向kuberntes提交任務(wù)，并創(chuàng)建jobManager Pod和taskManager Pod；分別啟動jobManager Pod和taskManager Pod中的filebeat進程，以采集日志數(shù)據(jù)。本發(fā)明的采集方法，在不修改開源組件flink和kuberntes的源碼層面的基礎(chǔ)上，對業(yè)務(wù)層進行修改，完成jobManager Pod和taskManager Pod內(nèi)啟動filebeat，并采集jobManager和taskManager的日志數(shù)據(jù)，減少了維護成本，提高了開發(fā)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集技術(shù)領(lǐng)域，具體涉及一種基于kuberntes的flink任務(wù)日志elk采集方法和一種基于kuberntes的flink任務(wù)日志elk采集系統(tǒng)。

背景技術(shù)

隨著公司業(yè)務(wù)的不斷發(fā)現(xiàn)，需要承載業(yè)務(wù)的服務(wù)不斷細(xì)化，隨之帶來服務(wù)器的增加，慢慢基于docker的容器化技術(shù)逐漸成為主流，編排和管理這些容器也慢慢成為一種趨勢，kubernetes是目前最流行的容器化編碼組件，其強大的平臺兼容性，靈活擴展性，故障轉(zhuǎn)移機制特性受到社區(qū)的歡迎，但是在運行flink任務(wù)過程中，當(dāng)任務(wù)結(jié)束，無論是成功還是失敗，pod回收導(dǎo)致任務(wù)日志被清理，無法進行有效的查看和問題跟蹤。

并且，現(xiàn)有kuberntes因其資源隔離性，無法在pod外直接讀取pod中的任務(wù)日志，同時pod因為故障遷移機制，pod會存在與不同的容器中，當(dāng)pod發(fā)生變更時，pod內(nèi)部運行的任務(wù)日志就會丟失，不利于一個任務(wù)的整體觀測，另外，當(dāng)任務(wù)失敗pod退出之后沒有日志時難以定位問題所在。

發(fā)明內(nèi)容

本發(fā)明為解決上述技術(shù)問題，提供了一種基于kuberntes的flink任務(wù)日志elk采集方法，在不修改開源組件flink和kuberntes的源碼層面的基礎(chǔ)上，對業(yè)務(wù)層進行修改，完成jobManager Pod和taskManager Pod內(nèi)啟動filebeat，并采集jobManager和taskManager的日志數(shù)據(jù)，減少了維護成本，提高了開發(fā)效率。

本發(fā)明采用的技術(shù)方案如下：

一種基于kuberntes的flink任務(wù)日志elk采集方法，包括以下步驟：制作包含filebeat安裝包的flink鏡像；在flinkclient中確定啟動需要加載的所述flink鏡像和flink腳本；向所述kuberntes提交任務(wù)，并創(chuàng)建jobManager Pod和taskManager Pod；分別啟動所述jobManager Pod和所述taskManager Pod中的filebeat進程，以采集日志數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，所述制作包含filebeat安裝包的flink鏡像，包括：制作打包鏡像腳本，將所述filebeat安裝包復(fù)制至docker內(nèi)部的路徑中；修改所述flink的啟動腳本，在所述啟動腳本中添加所述filebeat的執(zhí)行指令；執(zhí)行所述打包鏡像腳本，以得到包含所述filebeat安裝包的flink鏡像。

根據(jù)本發(fā)明的一個實施例，上述的基于kuberntes的flink任務(wù)日志elk采集方法，還包括：判斷所述filebeat的output端是否成功采集日志數(shù)據(jù)；如果成功采集，則將所述采集的日志數(shù)據(jù)存儲至存儲組件中。

根據(jù)本發(fā)明的一個實施例，上述的基于kuberntes的flink任務(wù)日志elk采集方法，還包括：暫停所述kuberntes任務(wù)，判斷所述存儲組件中是否存在對應(yīng)采集的日志數(shù)據(jù)。