[發明專利]基于Flink實時任務臟數據插件化管理的方法和系統

在審

• 申請號: 202110771629.6
• 申請日: 2021-07-08
• 公開（公告）號: CN113407365A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 溫天柱
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/215
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種基于Flink實時任務臟數據插件化管理的方法，其特征在于，包括：

臟數據管理者獲取臟數據配置信息，實例化臟數據管理者，實例化對應的臟數據插件對象；

所述臟數據管理者收集任務產生的臟數據及異常原因，將所述臟數據及異常原因存入消息隊列；

所述臟數據管理者啟動臟數據插件對象中的臟數據消費者；

所述臟數據消費者輪訓消費所述消息隊列中的臟數據；

如果所述臟數據消費者消費所述消息隊列中的臟數據成功，所述臟數據管理者將臟數據消費計數值加1，直至臟數據消費計數值達到預設臟數據消費計數值，確定所述任務失敗；如果所述臟數據消費者消費所述消息隊列中的臟數據失敗，所述臟數據管理者將失敗數據計數值加1，直至失敗數據計數值達到預設失敗數據計數值，確定所述任務失敗。

2.根據權利要求1所述的方法，其特征在于，所述臟數據管理者啟動臟數據插件對象中的臟數據消費者之前，還包括：

所述臟數據管理者確定所述消息隊列中的第一條臟數據。

3.根據權利要求1所述的方法，其特征在于，所述臟數據管理者收集任務產生的臟數據及異常原因，將所述臟數據及異常原因存入消息隊列之前，還包括：

所述臟數據管理者初始化所述消息隊列。

4.根據權利要求1所述的方法，其特征在于，所述臟數據消費者輪訓所述消息隊列中的臟數據包括：

所述臟數據消費者通過臟數據消費者子類輪訓消費所述消息隊列中的臟數據。

5.一種基于Flink實時任務臟數據插件化管理的系統，其特征在于，包括：根據臟數據配置信息實例化得到的臟數據管理者，以及實例化得到的臟數據消費者；

所述臟數據管理者，用于收集任務產生的臟數據及異常原因，將所述臟數據及異常原因存入消息隊列；啟動臟數據插件對象中的所述臟數據消費者；

所述臟數據消費者，用于輪訓消費所述消息隊列中的臟數據；

所述臟數據管理者，還用于在如果所述臟數據消費者消費所述消息隊列中的臟數據成功，將臟數據消費計數值加1，直至臟數據消費計數值達到預設臟數據消費計數值，確定所述任務失敗；如果所述臟數據消費者消費所述消息隊列中的臟數據失敗，將失敗數據計數值加1，直至失敗數據計數值達到預設失敗數據計數值，確定所述任務失敗。

6.根據權利要求5所述的系統，其特征在于，所述臟數據管理者，還用于在啟動臟數據插件對象中的臟數據消費者之前，確定所述消息隊列中的第一條臟數據。

7.根據權利要求5所述的系統，其特征在于，所述臟數據管理者，還用于在收集任務產生的臟數據及異常原因，將所述臟數據及異常原因存入消息隊列之前，初始化所述消息隊列。

8.根據權利要求5所述的系統，其特征在于，所述臟數據消費者通過如下方式輪訓所述消息隊列中的臟數據：

所述臟數據消費者，具體用于通過臟數據消費者子類輪訓消費所述消息隊列中的臟數據。