[發明專利]基于kuberntes的flink任務日志elk采集方法和系統

在審

• 申請號: 202010741854.0
• 申請日: 2020-07-29
• 公開（公告）號: CN111782498A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 彭亮
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F8/61;G06F9/455
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種基于kuberntes的flink任務日志elk采集方法，其特征在于，包括以下步驟：

制作包含filebeat安裝包的flink鏡像；

在flinkclient中確定啟動需要加載的所述flink鏡像和flink腳本；

向所述kuberntes提交任務，并創建jobManager Pod和taskManager Pod；

分別啟動所述jobManager Pod和所述taskManager Pod中的filebeat進程，以采集日志數據。

2.根據權利要求1所述的基于kuberntes的flink任務日志elk采集方法，其特征在于，所述制作包含filebeat安裝包的flink鏡像，包括：

制作打包鏡像腳本，將所述filebeat安裝包復制至docker內部的路徑中；

修改所述flink的啟動腳本，在所述啟動腳本中添加所述filebeat的執行指令；

執行所述打包鏡像腳本，以得到包含所述filebeat安裝包的flink鏡像。

3.根據權利要求1所述的基于kuberntes的flink任務日志elk采集方法，其特征在于，還包括：

判斷所述filebeat的output端是否成功采集日志數據；

如果成功采集，則將所述采集的日志數據存儲至存儲組件中。

4.根據權利要求3所述的基于kuberntes的flink任務日志elk采集方法，其特征在于，還包括：

暫停所述kuberntes任務，判斷所述存儲組件中是否存在對應采集的日志數據。

5.一種基于kuberntes的flink任務日志elk采集系統，其特征在于，包括：

制作模塊，用于制作包含filebeat安裝包的flink鏡像；

確定模塊，用于在flinkclient中確定啟動需要加載的所述flink鏡像和flink腳本；

任務提交模塊，用于向所述kuberntes提交任務；

創建模塊，用于創建jobManager Pod和taskManager Pod；

啟動模塊，用于啟動所述jobManager Pod和所述taskManager Pod中的filebeat進程；

數據采集模塊，用于采集日志數據。

6.根據權利要求5所述的基于kuberntes的flink任務日志elk采集系統，其特征在于，所述制作模塊具體用于，

制作打包鏡像腳本，將所述filebeat安裝包復制至docker內部的路徑中；

修改所述flink的啟動腳本，在所述啟動腳本中添加所述filebeat的執行指令；

執行所述打包鏡像腳本，以得到包含所述filebeat安裝包的flink鏡像。

7.根據權利要求5所述的基于kuberntes的flink任務日志elk采集系統，其特征在于，還包括：

數據存儲模塊，用于在所述filebeat的output端成功采集日志數據時，將所述采集的日志數據存儲至數據存儲模塊中。

8.根據權利要求7所述的基于kuberntes的flink任務日志elk采集系統，其特征在于，所述數據存儲模塊還用于，

在暫停所述kuberntes任務時，判斷所述數據存儲模塊中是否存在對應采集的日志數據。