[發明專利]分布式計算框架的任務調派系統

有效

• 申請號: 201610074884.4
• 申請日: 2016-02-02
• 公開（公告）號: CN105760221B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 孫良君
• 申請（專利權）人: 中博信息技術研究院有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 南霆

本申請公開一種分布式計算框架的任務調派系統，其中包括應用服務器、任務隊列服務平臺與Redis服務平臺。應用服務器用于部署多個業務處理服務；任務隊列服務平臺由多個任務服務器透過網路集群，任務隊列服務平臺中部署zookeeper服務，任務調度操作用于處理zookeeper服務的消息隊列的新的客戶任務；由多個Redis服務器透過網路連接構成，Redis服務平臺經由網路連接于任務隊列服務平臺，Redis服務平臺根據新加入消息隊列中的客戶任務調用處理進程，處理進程對客戶任務進行清洗并輸出第一業務結果存儲至Redis緩存存儲器中；Redis服務平臺的實時計算模塊偵測Redis緩存存儲器中存在新的第一業務結果，實時計算模塊對第一業務結果進行計算并輸出第二業務結果。

技術領域

本申請涉及一種任務調派的處理系統，具體涉及一種分布式計算框架的任務調派系統。

背景技術

Redis是一個開源、支持網絡、基于內存的鍵值對存儲數據庫，支持多種數據類型和多種操作，具有強大的管理數據的功能。隨著數據的重要性的提升，對于數據的管理、維護以及安全性的需求也顯得越來越重要。因此，為保證Redis的正常運行和服務質量，需要對實現Redis的Redis設備進行管理，該Redis設備可以是Redis服務器或Redis代理服務器，Redis代理服務器用于代理應用層與Redis服務器交互。

隨著業務數量的不斷增加，傳統單機模式的計算系統會因為服務器壓力過大而崩潰，導致整個系統的不可用，造成巨大損失。而且傳統單機模式的計算系統的存儲順序是：先存儲，后計算的順序，需要等待前一個任務完成，才能進行下一個任務，耗時長。未經處理的各種數據結構、錯誤數據等都存入數據庫中，會占用大量資源，增加了后續的操作復雜程度。此外，傳統的分布式系統在運行時都是按照既定的算法規則去調度相應的操作。如果有新的任務加入，往往需要重新部署，工作量較大。因此傳統的分布式系統并不具備很好的可擴展性與靈活性。

發明內容

本申請所要解決的技術問題在于提供一種分布式計算框架的任務調派系統。本申請的分布式計算框架的任務調派系統包括多個應用服務器、任務隊列服務平臺與Redis服務平臺。多個應用服務器用于部署多個業務處理服務；任務隊列服務平臺由多個任務服務器透過網路集群，該應用服務器經由網路連接于該任務隊列服務平臺，該任務隊列服務平臺中部署zookeeper服務，該任務隊列服務平臺透過任務調度操作，該任務調度操作用于處理該zookeeper服務的消息隊列的新的客戶任務；Redis服務平臺，由多個Redis服務器透過網路連接構成，該Redis服務平臺經由網路連接于該任務隊列服務平臺，該Redis服務平臺根據由新加入該消息隊列中的該客戶任務調用處理進程，由該處理進程對該客戶任務進行清洗并輸出第一業務結果存儲至Redis緩存存儲器中；由該Redis服務平臺的實時計算模塊偵測該Redis緩存存儲器中存在新的該第一業務結果，該實時計算模塊對該第一業務結果進行實時計算并輸出第二業務結果至該Redis緩存存儲器。

與現有技術相比，本申請可以獲得包括以下技術效果：

1)本申請所提供的分布式計算框架的任務調派系統采用分布式與集群相結合的方式部署整體架構，可以將操作復雜的任務劃分為多個小任務分別在不同的機器上執行，提高其執行效率，系統不會因為段時間內任務量的爆發式增長而崩潰，增加系統的吞吐量，實現高并發處理。

2)本申請的分布式計算框架的任務調派系統采用存儲與計算分開操作，彼此間的耦合度不高，不會被相互影響。使用Redis服務器存儲，提供了豐富的數據結構并提供這個數據結構支持的操作，不會造成因服務器關閉數據丟失的情況，結合其高速讀寫能力、持久化機制等特點，加強了數據處理能力。

當然，實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。