[發(fā)明專利]分布式計算框架的任務調(diào)派系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610074884.4
• 申請日: 2016-02-02
• 公開（公告）號: CN105760221B
• 公開（公告）日: 2018-12-07
• 發(fā)明（設計）人: 孫良君
• 申請（專利權）人: 中博信息技術研究院有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F17/30
• 代理公司: 北京國昊天誠知識產(chǎn)權代理有限公司 11315
• 代理人: 南霆

1.一種分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于分布處理一客戶端所發(fā)出的客戶任務，所述的分布式計算框架的任務調(diào)派系統(tǒng)包括：

多個應用服務器，用于部署多個業(yè)務處理服務；

一任務隊列服務平臺，由多個任務服務器透過網(wǎng)路集群，該應用服務器經(jīng)由網(wǎng)路連接于該任務隊列服務平臺，該任務隊列服務平臺中部署一zookeeper服務，該任務隊列服務平臺透過一任務調(diào)度操作，該任務調(diào)度操作用于處理該 zookeeper服務的一消息隊列的新的一客戶任務；以及

一Redis服務平臺，由多個Redis服務器透過網(wǎng)路連接構成，該 Redis服務平臺經(jīng)由網(wǎng)路連接于該 任務隊列服務平臺，該Redis服務平臺根據(jù)由新加入該消息隊列中的該客戶任務調(diào)用一處理進程，由該處理進程對該客戶任務進行清洗并輸出一第一業(yè)務結果存儲至一Redis緩存存儲器中；

其中，由該Redis服務平臺的一實時計算模塊偵測該Redis緩存存儲器中存在新的該第一業(yè)務結果，該實時計算模塊對該第一業(yè)務結果進行實時計算并輸出一第二業(yè)務結果至該Redis緩存存儲器。

2.如權利要求1所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于從該些任務服務器中擇一指派為一主任務服務器，其余 為從任務服務器，其中，該些任務服務器透過一FastLeaderElection算法相互推舉出該主任務服務器。

3.如權利要求1所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該任務調(diào)度操作的種類包括一掃描操作、一下載操作與一清洗操作。

4.如權利要求3所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該消息隊列包括一下載隊列、一欲處理隊列與一數(shù)據(jù)加載隊列。

5.如權利要求4所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該掃描操作實時偵測一輸入節(jié)點是否接入新的該客戶任務，該掃描操作將新接入的該客戶任務加入該消息隊列。

6.如權利要求5所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該消息隊列新加入該客戶任務時，該下載操作調(diào)用對應的一處理線程，并由該處理線程載入該客戶任務至一Redis緩存存儲器。

7.如權利要求5所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該下載要求于下載該客戶任務后創(chuàng)建一任務鎖，并遍尋該些Redis服務器中正運行該客戶任務的該Redis服務器，并從該下載隊列中把該客戶任務搬移至該數(shù)據(jù)加載隊列并生成一數(shù)據(jù)預處理訊息且加入該客戶任務中，再添加該數(shù)據(jù)預處理訊息至該預處理隊列中。

8.如權利要求5所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該清洗操作包括讀取該客戶任務的身份(Identity)、分發(fā)到的該Redis服務器、獲取該客戶任務需要計算的流量、基站字段、用戶數(shù)字段，該清洗操作后把結果輸入至該Redis緩存存儲器。

9.如權利要求1所述的分布式計算框架的任務調(diào)派系統(tǒng)，其特征在于該業(yè)務處理服務包括用戶計算、流量計算、時延計算或數(shù)據(jù)上報。