[發(fā)明專利]基于K8S的flink任務日志的處理方法及計算機設備

在審

• 申請?zhí)枺?/td>: 202111488850.7
• 申請日: 2021-12-07
• 公開（公告）號: CN114168417A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設計）人: 張浩;黃政;蘇海紅
• 申請（專利權）人: 深圳依時貨拉拉科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 深圳瑞天謹誠知識產權代理有限公司 44340
• 代理人: 溫青玲

1.一種基于K8S的flink任務日志的處理方法，其特征在于，所述flink任務日志的處理方法包括：

為flink任務角色關聯(lián)任務標識；

監(jiān)聽所述flink任務對應的K8S容器的狀態(tài)信息，存儲所述flink任務角色的任務標識；

收集并存儲所述flink任務在K8S容器中的日志信息；及

查詢與任務標識關聯(lián)的flink任務角色的日志信息。

2.根據權利要求1所述的基于K8S的flink任務日志的處理方法，其特征在于，所述收集并存儲所述flink任務在K8S容器中的日志信息，包括：

創(chuàng)建基于K8S的fluented應用；

在K8S的任一節(jié)點均啟動fluented應用，并收集K8S容器的運行日志；及

將收集的K8S容器的運行日志存儲到elasticsearch。

3.根據權利要求2所述的基于K8S的flink任務日志的處理方法，其特征在于，所述創(chuàng)建基于K8S的fluented應用，包括：

采集源source配置；

增加K8S元數(shù)據記錄的過濾器配置；及

增加fluented應用采集的數(shù)據輸出配置。

4.根據權利要求3所述的基于K8S的flink任務日志的處理方法，其特征在于，所述采集源source配置，包括為flink任務對應的K8S container的日志文件關聯(lián)采集標記；

所述K8S元數(shù)據記錄的過濾器配置，包括記錄關聯(lián)有采集標記的K8S container的日志文件。

5.根據權利要求2所述的基于K8S的flink任務日志的處理方法，其特征在于，所述查詢與任務標識關聯(lián)的flink任務角色的日志信息，包括：

構建查詢條件，所述查詢條件包括任務標識；

調用elasticsearch引擎查詢與所述任務標識關聯(lián)的flink任務角色的日志信息；及

對日志信息進行拼裝并展示。

6.根據權利要求5所述的基于K8S的flink任務日志的處理方法，其特征在于，所述對日志信息進行拼裝并展示，包括：

判斷查詢條件是否攜帶滾屏信息；

若是，根據滾屏信息查詢日志信息的下一頁數(shù)據并展示；及

若否，配置數(shù)據展示大小，并依據數(shù)據展示大小展示日志信息。

7.根據權利要求1所述的基于K8S的flink任務日志的處理方法，其特征在于，所述flink任務日志的處理方法還包括：

為flink任務定義預定的namespace；及

設置K8S pod的命名規(guī)則。

8.一種基于K8S的flink任務日志的處理裝置，其特征在于，所述flink任務日志的處理裝置包括：

任務提交模塊，用于為flink任務角色關聯(lián)任務標識；

任務監(jiān)聽模塊，用于監(jiān)聽所述flink任務對應的K8S容器的狀態(tài)信息，存儲所述flink任務角色的任務標識；

日志采集模塊，用于收集并存儲所述flink任務在K8S容器中的日志信息；及

日志展示模塊，用于查詢與任務標識關聯(lián)的flink任務角色的日志信息。

9.一種計算機設備，其特征在于，包括：

一個或多個處理器；

存儲器；及

一個或多個計算機程序，其中，所述一個或多個計算機程序被存儲在所述存儲器中，并被配置為由所述一個或多個處理器執(zhí)行，所述一個或多個計算程序配置用于：執(zhí)行權利要求1至7任意一項所述的基于K8S的flink任務日志的處理方法。

10.一種存儲有計算機程序的非易失性計算機可讀存儲介質，其特征在于，當所述計算機程序被一個或多個處理器執(zhí)行時，使得所述處理器執(zhí)行權利要求1至7任意一項所述的基于K8S的flink任務日志的處理方法。