[發明專利]基于K8S的flink任務日志的處理方法及計算機設備

在審

• 申請號: 202111488850.7
• 申請日: 2021-12-07
• 公開（公告）號: CN114168417A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張浩;黃政;蘇海紅
• 申請（專利權）人: 深圳依時貨拉拉科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 深圳瑞天謹誠知識產權代理有限公司 44340
• 代理人: 溫青玲

本申請公開了一種基于K8S的flink任務日志的處理方法。flink任務日志的處理方法包括：為flink任務角色關聯任務標識；監聽flink任務對應的K8S容器的狀態信息，存儲flink任務角色的任務標識；收集并存儲flink任務在K8S容器中的日志信息；及查詢與任務標識關聯的flink任務角色的日志信息。本申請還公開了一種基于K8S的flink任務日志的處理方法、基于K8S的flink任務日志的處理裝置、計算機設備及計算機可讀存儲介質。實現了K8S的flink任務的日志信息收集、存儲及展示，使用戶能夠通過一個統一的flink大數據計算平臺完成flink任務的提交、狀態更新、日志信息的查看，方便定位K8S的flink任務的運行問題，提高定位問題的效率。

技術領域

本申請涉及數據平臺技術領域，特別涉及一種基于K8S的flink任務日志的處理方法、基于K8S的flink任務日志的處理裝置、計算機設備及計算機可讀存儲介質。

背景技術

目前一種大數據離線計算平臺設計是采用flink去實現多種數據源的抽取、轉換和存儲，底層是基于Kubernetes(K8S)集群去運行flink任務，但是K8S并沒有提供容器日志的收集與展示，而且K8S任務運行成功和失敗后，pod將會很快被回收，任務日志就會立即被清理，導致無法進行日志的查看，這給任務運行狀態及任務問題的定位帶來困難。

發明內容

為解決上述背景技術中的至少一個技術問題，本申請實施方式提供了一種基于K8S的flink任務日志的處理方法、基于K8S的flink任務日志的處理裝置、計算機設備及計算機可讀存儲介質。

本申請實施方式的基于K8S的flink任務日志的處理方法包括：

為flink任務角色關聯任務標識；

監聽所述flink任務對應的K8S容器的狀態信息，存儲所述flink任務角色的任務標識；收集并存儲所述flink任務在K8S容器中的日志信息；及

查詢與任務標識關聯的flink任務角色的日志信息。

在某些實施方式中，所述收集并存儲所述flink任務在K8S容器中的日志信息，包括：

創建基于K8S的fluented應用；

在K8S的任一節點均啟動fluented應用，并收集K8S容器的運行日志；及

將收集的K8S容器的運行日志存儲到elasticsearch。

在某些實施方式中，所述創建基于K8S的fluented應用，包括：

采集源source配置；

增加K8S元數據記錄的過濾器配置；及

增加fluented應用采集的數據輸出配置。

在某些實施方式中，所述采集源source配置，包括為flink任務對應的K8Scontainer的日志文件關聯采集標記；

所述K8S元數據記錄的過濾器配置，包括記錄關聯有采集標記的K8S container的日志文件。

在某些實施方式中，所述查詢與任務標識關聯的flink任務角色的日志信息，包括：

構建查詢條件，所述查詢條件包括任務標識；

調用elasticsearch引擎查詢與所述任務標識關聯的flink任務角色的日志信息；及

對日志信息進行拼裝并展示。

在某些實施方式中，所述對日志信息進行拼裝并展示，包括：

判斷查詢條件是否攜帶滾屏信息；