[發明專利]流式任務自動化監控系統及方法

有效

• 申請號: 202010628814.5
• 申請日: 2020-07-02
• 公開（公告）號: CN111930589B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 史可;戴飛俊
• 申請（專利權）人: 上海微億智造科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種流式任務自動化監控系統，其特征在于，包括

注冊服務模塊：對流式任務進行注冊；

發現服務模塊：監聽正常的任務，發現了異常情況時，進行預設的操作處理并在注冊中心對應異常任務的狀態修改；

所述發現服務模塊：

模塊S1：定期去查詢注冊中心中所有的狀態顯示正常的任務名；

模塊S2：將查到的任務名，逐個進行在服務器上此任務是否在資源管理器系統yarn上存在進程的判斷，如果不存在進程，表示此任務已經不存在，則將注冊中心中此任務的狀態修改為失敗，如果存在進程，調用模塊S3；

模塊S3：資源管理器系統yarn上存在相應的進程時，表示有此任務的運行空間，進一步查看這個任務是否是在運行狀態，可直接調用flink提供的API接口查看對應任務的實際運行狀態；

模塊S4：調用接口，得到一個json格式字符串，解析獲得key為state的value值，即為任務的實際狀態，如果是RUNNING，表示正常運行，則此任務是正常狀態，不作處理，如果是RESTARTING，表示此任務已經結束，此時需要先用命令殺死掉資源管理器系統上的對應進程，再進行注冊中心狀態的修改，將狀態改為失敗；

模塊S5：如果狀態為其他的狀態，表示任務目前處于異常狀態，但任務仍然在運行，此時需要在注冊中心進行狀態的修改，將狀態改為其他的狀態；

通過腳本的方式在后臺實時的將任務狀態更新到數據庫中，從而監控到任務的狀態，同時對出現異常的任務及時告警和重啟；

所述注冊服務模塊包括兩種部署和執行模式：

單個部署執行模式：工程師完成相應的流式任務的開發并按照規定的注冊參數將自己的job注冊到注冊中心；

批量部署執行模式：運維工程師將所有現有的流式任務進行統一管理統一注冊；

所述對流式任務進行注冊包括以下步驟：

步驟一：重寫注冊服務中的一個開放api主程序將相關參數傳入到接口中，相關參數包括：任務名稱,任務負責人信息以及任務啟動命令信息；

步驟二：將重寫的api主程序加入批量注冊管道，以使服務器或者CDH集群重啟能夠直接批量注冊；

步驟三：將重寫的api主程序執行注冊。

2.一種流式任務自動化監控方法，其特征在于，包括

注冊服務步驟：對流式任務進行注冊；

發現服務步驟：監聽正常的任務，發現了異常情況時，進行預設的操作處理并在注冊中心對應異常任務的狀態修改；

所述發現服務步驟：

步驟S1：定期去查詢注冊中心中所有的狀態顯示正常的任務名；

步驟S2：將查到的任務名，逐個進行在服務器上此任務是否在資源管理器系統yarn上存在進程的判斷，如果不存在進程，表示此任務已經不存在，則將注冊中心中此任務的狀態修改為失敗，如果存在進程，進入步驟S3；

步驟S3：資源管理器系統yarn上存在相應的進程時，表示有此任務的運行空間，進一步查看這個任務是否是在運行狀態，可直接調用flink提供的API接口查看對應任務的實際運行狀態；

步驟S4：調用接口，得到一個json格式字符串，解析獲得key為state的value值，即為任務的實際狀態，如果是RUNNING，表示正常運行，則此任務是正常狀態，不作處理，如果是RESTARTING，表示此任務已經結束，此時需要先用命令殺死掉資源管理器系統上的對應進程，再進行注冊中心狀態的修改，將狀態改為失敗；

步驟S5：如果狀態為其他的狀態，表示任務目前處于異常狀態，但任務仍然在運行，此時需要在注冊中心進行狀態的修改，將狀態改為其他的狀態；

通過腳本的方式在后臺實時的將任務狀態更新到數據庫中，從而監控到任務的狀態，同時對出現異常的任務及時告警和重啟；

所述注冊服務步驟包括兩種部署和執行模式：

單個部署執行模式：工程師完成相應的流式任務的開發并按照規定的注冊參數將自己的job注冊到注冊中心；

批量部署執行模式：運維工程師將所有現有的流式任務進行統一管理統一注冊；

所述對流式任務進行注冊包括以下步驟：

步驟一：重寫注冊服務中的一個開放api主程序將相關參數傳入到接口中，相關參數包括：任務名稱,任務負責人信息以及任務啟動命令信息；

步驟二：將重寫的api主程序加入批量注冊管道，以使服務器或者CDH集群重啟能夠直接批量注冊；

步驟三：將重寫的api主程序執行注冊。