[發(fā)明專利]一種job控制方法及裝置

有效

• 申請?zhí)枺?/td>: 201611265980.3
• 申請日: 2016-12-31
• 公開（公告）號: CN106775989B
• 公開（公告）日: 2019-07-02
• 發(fā)明（設計）人: 何彪;鄭鈞元
• 申請（專利權）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54
• 代理公司: 北京同達信恒知識產(chǎn)權代理有限公司 11291
• 代理人: 黃志華

本發(fā)明公開了一種job控制方法及裝置，該方法包括：針對接入大數(shù)據(jù)平臺的每個數(shù)據(jù)源，根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否每個數(shù)據(jù)源都處于停止狀態(tài)；如果是，關閉解析job和/或入庫job。由于在本發(fā)明實施例中，根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否每個數(shù)據(jù)源都處于停止狀態(tài)，如果是，關閉解析job和/或入庫job，節(jié)約了處理資源，減少了用戶的損失。

技術領域

本發(fā)明涉及數(shù)據(jù)分析技術領域，特別涉及一種作業(yè)job控制方法及裝置。

背景技術

隨著科學的進步，時代的發(fā)展，數(shù)據(jù)量增漲呈現(xiàn)爆炸態(tài)勢，每幾年就會翻一番。大量的數(shù)據(jù)中包含著諸多有價值的信息，上至國家經(jīng)濟走向、發(fā)展趨勢，下至每個網(wǎng)關傳輸?shù)臄?shù)據(jù)是否正常，因此，大數(shù)據(jù)處理平臺應運而生。大數(shù)據(jù)處理平臺中的數(shù)據(jù)是由不同的數(shù)據(jù)源產(chǎn)生的，針對每個數(shù)據(jù)源，運行解析作業(yè)(job)和入庫job，從而對該數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)進行解析入庫操作，解析入庫后的數(shù)據(jù)可供大數(shù)據(jù)處理平臺中的數(shù)據(jù)分析、數(shù)據(jù)挖掘應用進行數(shù)據(jù)的分析和挖掘，從中找出用戶需要的信息，為用戶的決策、制定發(fā)展戰(zhàn)略等提供支持。

然而，現(xiàn)有技術中如果存在接入的數(shù)據(jù)源，無論該數(shù)據(jù)源是否處于啟動狀態(tài)，解析job和/或入庫job一直處于運行狀態(tài)，造成處理資源的浪費，給用戶帶來了損失。

發(fā)明內(nèi)容

本發(fā)明提供一種job控制方法及裝置，用以解決現(xiàn)有技術中無論數(shù)據(jù)源是否處于啟動狀態(tài)，對應的解析job和/或入庫job一直處于運行狀態(tài)，造成處理資源的浪費的問題。

為達到上述目的，本發(fā)明實施例公開了一種作業(yè)job控制方法，所述方法包括：

針對接入大數(shù)據(jù)平臺的每個數(shù)據(jù)源，根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否每個數(shù)據(jù)源都處于停止狀態(tài)；

如果是，關閉解析job和/或入庫job。

進一步地，所述方法還包括：

根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否存在處于啟動狀態(tài)的數(shù)據(jù)源；

如果是，開啟解析job和/或入庫job。

進一步地，如果當前存在處于啟動狀態(tài)的數(shù)據(jù)源，所述方法還包括：

判斷解析job和/或入庫job是否針對該數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行解析和/或入庫操作；

如果否，控制解析job和/或入庫job對該數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行解析和/或入庫操作。

進一步地，所述控制解析job和/或入庫job對該數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行解析和/或入庫操作包括：

重啟所述解析job和/或入庫job，采用重啟后的解析job和/或入庫job對處于啟動狀態(tài)的數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行解析和/或入庫操作。

進一步地，所述根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否每個數(shù)據(jù)源都處于停止狀態(tài)之前，所述方法還包括：

根據(jù)用戶對每個數(shù)據(jù)源啟動或停止的設置指令，生成每個數(shù)據(jù)源對應的狀態(tài)信息保存到所述kafka消息隊列中。

本發(fā)明實施例公開了一種作業(yè)job控制裝置，所述裝置包括：

識別模塊，用于針對接入大數(shù)據(jù)平臺的每個數(shù)據(jù)源，根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否每個數(shù)據(jù)源都處于停止狀態(tài)；

關閉模塊，用于如果識別模塊識別到每個數(shù)據(jù)源都處于停止狀態(tài)，關閉解析job和/或入庫job。

進一步地，所述識別模塊，還用于根據(jù)kafka消息隊列中保存的每個數(shù)據(jù)源的狀態(tài)信息，識別是否存在處于啟動狀態(tài)的數(shù)據(jù)源；