[發(fā)明專利]一種大數(shù)據(jù)管理平臺的作業(yè)任務(wù)管理方法

在審

• 申請?zhí)枺?/td>: 201410839313.6
• 申請日: 2014-12-30
• 公開（公告）號: CN104462579A
• 公開（公告）日: 2015-03-25
• 發(fā)明（設(shè)計）人: 付興旺;韋鵬;吳楠
• 申請（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜明

技術(shù)領(lǐng)域

本發(fā)明公開一種作業(yè)任務(wù)管理方法，屬于數(shù)據(jù)管理領(lǐng)域，具體地說是一種大數(shù)據(jù)管理平臺的作業(yè)任務(wù)管理方法。

背景技術(shù)

當(dāng)前，互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)迅速發(fā)展，同時大數(shù)據(jù)和云計算時代的到來，加速了海量數(shù)據(jù)處理技術(shù)的發(fā)展。隨之而來，大數(shù)據(jù)管理平臺技術(shù)已日趨成熟，開源社區(qū)和一些大數(shù)據(jù)服務(wù)提供商陸續(xù)推出基于Hadoop的大數(shù)據(jù)管理平臺。然而，在使用大數(shù)據(jù)管理平臺執(zhí)行應(yīng)用程序的作業(yè)任務(wù)時，表現(xiàn)的并不友好，各個技術(shù)組件在同一平臺中并沒有統(tǒng)一的作業(yè)任務(wù)管理中心，而只是各自提供獨立的只可在線查看的服務(wù)。導(dǎo)致在大數(shù)據(jù)管理平臺在線提交任務(wù)，以及作業(yè)狀態(tài)變化時主動發(fā)送通知信息非常不便。本發(fā)明提供一種大數(shù)據(jù)管理平臺的作業(yè)任務(wù)管理方法，通過Web端統(tǒng)一在線作業(yè)任務(wù)管理模塊，Server端應(yīng)用程序調(diào)度及狀態(tài)維護(hù)模塊，Agent端應(yīng)用程序執(zhí)行模塊的相互作用實現(xiàn)在線提交應(yīng)用程序、自定義配置執(zhí)行信息和狀態(tài)變化通知信息，可定制任務(wù)執(zhí)行計劃，從而提高大數(shù)據(jù)管理平臺的易用性，同時方便了管理員對集群運行任務(wù)的統(tǒng)一管理并且應(yīng)用人員對其發(fā)起的任務(wù)可進(jìn)行實時狀態(tài)跟蹤，可以指導(dǎo)大數(shù)據(jù)管理平臺中的作業(yè)任務(wù)系統(tǒng)的開發(fā)，具有較高的參考價值和實際意義。

發(fā)明內(nèi)容

本發(fā)明針對大數(shù)據(jù)管理平臺沒有統(tǒng)一的作業(yè)任務(wù)管理中心，而只是各自提供獨立的只可在線查看的服務(wù)，導(dǎo)致在線提交任務(wù)，以及作業(yè)狀態(tài)變化時主動發(fā)送通知信息非常不便的問題，提供一種大數(shù)據(jù)管理平臺的作業(yè)任務(wù)管理方法，實現(xiàn)在線提交應(yīng)用程序、自定義配置執(zhí)行信息和狀態(tài)變化通知信息，可定制任務(wù)執(zhí)行計劃，從而提高大數(shù)據(jù)管理平臺的易用性，同時方便了管理員對集群運行任務(wù)的統(tǒng)一管理并且應(yīng)用人員對其發(fā)起的任務(wù)可進(jìn)行實時狀態(tài)跟蹤。

本發(fā)明提出的具體方案是：

一種大數(shù)據(jù)管理平臺的的作業(yè)任務(wù)管理方法，具體步驟為：

①建立大數(shù)據(jù)管理平臺的管理系統(tǒng)，主要包括Web端統(tǒng)一在線作業(yè)任務(wù)管理模塊，Server端應(yīng)用程序調(diào)度及狀態(tài)維護(hù)模塊，Agent端應(yīng)用程序執(zhí)行模塊；

②利用Web端統(tǒng)一在線作業(yè)任務(wù)管理模塊，用戶登錄管理平臺，提供作業(yè)任務(wù)的應(yīng)用程序，上傳至集群中，上傳時對應(yīng)用程序的類型、程序大小和命名規(guī)范性做校驗，不符合規(guī)則的拒絕提交；用戶進(jìn)行作業(yè)任務(wù)基本信息的配置項錄入，對用戶錄入的任務(wù)配置項，進(jìn)行合法性和規(guī)范校驗，不符合規(guī)范的信息拒絕提交；用戶對接收狀態(tài)通知的配置項進(jìn)行錄入；

③Web端統(tǒng)一在線作業(yè)任務(wù)管理模塊接收的用戶上傳的作業(yè)任務(wù)信息通過任務(wù)API接口進(jìn)入Server端應(yīng)用程序調(diào)度及狀態(tài)維護(hù)模塊，應(yīng)用程序調(diào)度及狀態(tài)維護(hù)模塊維護(hù)應(yīng)用程序執(zhí)行狀態(tài)，Server端通過Agent接口接收Agent端處理的各個流程階段狀態(tài)發(fā)起的維護(hù)命令，對狀態(tài)維護(hù)命令做統(tǒng)一維護(hù)，并負(fù)責(zé)作業(yè)任務(wù)狀態(tài)通知信息的發(fā)送；

④Agent端應(yīng)用程序執(zhí)行模塊根據(jù)用戶提交的配置，篩選出當(dāng)前Agent節(jié)點需要執(zhí)行的應(yīng)用程序，設(shè)定執(zhí)行計劃，并設(shè)定應(yīng)用程序的執(zhí)行日志輸出，將日志內(nèi)容分類規(guī)整，做到可通過前段web端下載查看具體的內(nèi)容。

所述的步驟②中統(tǒng)一在線作業(yè)任務(wù)管理模塊還提供指定條件的檢索功能，對非管理員用戶，只能查詢當(dāng)前用戶提交的作業(yè)任務(wù)，管理員角色賬號可查詢?nèi)孔鳂I(yè)任務(wù)信息，可點擊下載或查看詳細(xì)報告鏈接，提供作業(yè)任務(wù)執(zhí)行的詳細(xì)內(nèi)容。

所述的步驟②中作業(yè)任務(wù)基本信息的配置項包括程序類型、執(zhí)行引擎、任務(wù)名稱、執(zhí)行用戶、計劃執(zhí)行時間、執(zhí)行程序參數(shù)、是否接收狀態(tài)通知、優(yōu)先級、任務(wù)描述。

所述的步驟②中接收狀態(tài)通知的配置項包括接收方式、狀態(tài)定制、郵箱地址、手機(jī)號、免打擾時間。

所述的步驟④中應(yīng)用程序執(zhí)行模塊還負(fù)責(zé)對已經(jīng)執(zhí)行完成，且設(shè)置了計劃任務(wù)的記錄，做清理處理，避免出現(xiàn)冗余過期的任務(wù)記錄。

一種大數(shù)據(jù)管理平臺的的作業(yè)任務(wù)管理系統(tǒng)，應(yīng)用于一種大數(shù)據(jù)管理平臺的的作業(yè)任務(wù)管理方法，包括：

Web端統(tǒng)一在線作業(yè)任務(wù)管理模塊，負(fù)責(zé)根據(jù)用戶權(quán)限在線提交配置作業(yè)任務(wù)應(yīng)用程序、配置狀態(tài)接收通知信息和制定執(zhí)行作業(yè)任務(wù)計劃功能；

Server端應(yīng)用程序調(diào)度及狀態(tài)維護(hù)模塊，負(fù)責(zé)對作業(yè)任務(wù)應(yīng)用程序執(zhí)行時的調(diào)度以及作業(yè)任務(wù)狀態(tài)的集中維護(hù)功能；

Agent端應(yīng)用程序執(zhí)行模塊，負(fù)責(zé)配置定時計劃任務(wù)，根據(jù)用戶自定義的作業(yè)任務(wù)執(zhí)行計劃和Server端的調(diào)度，對當(dāng)前Agent節(jié)點需要執(zhí)行的作業(yè)列表和執(zhí)行的具體時間做出響應(yīng)，啟動執(zhí)行，并且對應(yīng)用程序的執(zhí)行日志的收集。