[發(fā)明專利]一種分布式廣告數(shù)據(jù)計算任務管理系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201611188392.4
• 申請日: 2016-12-20
• 公開（公告）號: CN108205470A
• 公開（公告）日: 2018-06-26
• 發(fā)明（設計）人: 王曉偉
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L29/08;G06Q30/02
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;何立春

本發(fā)明公開了一種分布式廣告數(shù)據(jù)計算任務管理系統(tǒng)及方法。該系統(tǒng)包括：任務創(chuàng)建服務器、任務庫、分布式服務器集群和多個客戶端；任務創(chuàng)建服務器，適于將廣告數(shù)據(jù)計算任務保存到任務庫中；任務庫，適于存儲所述任務創(chuàng)建服務器所創(chuàng)建的廣告數(shù)據(jù)計算任務；客戶端，適于從任務庫提取廣告數(shù)據(jù)計算任務，并將所提取的廣告數(shù)據(jù)計算任務發(fā)送給分布式服務器集群；分布式服務器集群，適于運行客戶端發(fā)送的廣告數(shù)據(jù)計算任務。可見，本發(fā)明避免了單個客戶端出現(xiàn)故障時導致系統(tǒng)癱瘓的弊端；同時保證多個任務同時執(zhí)行，提高系統(tǒng)運行速度；并使系統(tǒng)資源得到了有效分配和充分利用，進而實現(xiàn)系統(tǒng)負載均衡。

技術領域

本發(fā)明涉及分布式處理技術領域，具體涉及一種分布式廣告數(shù)據(jù)計算任務管理系統(tǒng)及方法。

背景技術

隨著WEB應用越來越普及與業(yè)務的多元化，分布式任務管理系統(tǒng)得到了廣大用戶的青睞。但是現(xiàn)有的分布式管理系統(tǒng)存在以下問題，導致系統(tǒng)的資源沒有得到有效分配和充分利用，進而使系統(tǒng)負載失去均衡。

現(xiàn)有的分布式管理系統(tǒng)存在的問題如下：(一)只設置一個中心管理父節(jié)點對系統(tǒng)內(nèi)的子節(jié)點發(fā)布控制指令，導致同一時刻只能執(zhí)行一條指令，從而系統(tǒng)的資源沒有得到有效的利用，而且一旦該中心管理父節(jié)點發(fā)生故障，整個系統(tǒng)將停止運行。(二)分布式管理系統(tǒng)中部分節(jié)點執(zhí)行的任務多，部分節(jié)點執(zhí)行的任務少，導致系統(tǒng)中的部分節(jié)點在運行時，其他節(jié)點處于休眠狀態(tài)，導致系統(tǒng)資源浪費，負載失衡等問題長期存在。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的分布式任務管理系統(tǒng)和方法。

依據(jù)本發(fā)明的一個方面，提供了一種分布式廣告數(shù)據(jù)計算任務管理系統(tǒng)，其中，該廣告數(shù)據(jù)計算任務管理系統(tǒng)包括：任務創(chuàng)建服務器、任務庫、分布式服務器集群和多個客戶端；

任務創(chuàng)建服務器，適于將廣告數(shù)據(jù)計算任務保存到任務庫中；

任務庫，適于存儲所述任務創(chuàng)建服務器所創(chuàng)建的廣告數(shù)據(jù)計算任務；

客戶端，適于從任務庫提取廣告數(shù)據(jù)計算任務，并將所提取的廣告數(shù)據(jù)計算任務發(fā)送給分布式服務器集群；

分布式服務器集群，適于運行客戶端發(fā)送的廣告數(shù)據(jù)計算任務。

可選地，所述分布式服務器集群包括：分布式資源管理器YARN，適于對客戶端發(fā)送的廣告數(shù)據(jù)計算任務進行調(diào)度，以分配到集群中的相應服務器上運行。

可選地，所述分布式服務器集群中，YARN利用容器DOCKER在集群中服務器上為不同的廣告數(shù)據(jù)計算任務構建運行所需的不同的運行環(huán)境。

可選地，所述分布式資源管理器YARN，適于將集群中的廣告數(shù)據(jù)計算任務運行資源分為多組，其中一組為優(yōu)先組，對應標記了指定優(yōu)先級信息的廣告數(shù)據(jù)計算任務；當接收到標記了指定優(yōu)先級信息的廣告數(shù)據(jù)計算任務時，分配到優(yōu)先組進行運行；如果優(yōu)先組中暫時無廣告數(shù)據(jù)計算任務運行，則將優(yōu)先組中的部分廣告數(shù)據(jù)計算任務運行資源分配到其他組幫助其他組運行廣告數(shù)據(jù)計算任務，一旦優(yōu)先組中有廣告數(shù)據(jù)計算任務運行，回收分配到其他組的運行資源到優(yōu)先組。

可選地，所述任務創(chuàng)建服務器，適于通過前端頁面接收新建的廣告數(shù)據(jù)計算任務，將接收到廣告數(shù)據(jù)計算任務保存到任務庫中；以及還適于通過前端頁面接收修改廣告數(shù)據(jù)計算任務的指令，根據(jù)該指令對任務庫中的相應廣告數(shù)據(jù)計算任務進行修改操作。

可選地，客戶端，適于從任務庫提取廣告數(shù)據(jù)計算任務時，先查看任務庫中任務表，根據(jù)任務表優(yōu)先提取優(yōu)先級高的廣告數(shù)據(jù)計算任務，并將所提取的廣告數(shù)據(jù)計算任務發(fā)送給分布式服務器集群；

其中，任務表中保存了任務庫中當前所存儲的廣告數(shù)據(jù)計算任務，以及對應保存了各廣告數(shù)據(jù)計算任務的優(yōu)先級信息。

可選地，所述多個客戶端中包括一個或多個優(yōu)先級任務處理客戶端；