[發明專利]集群式的任務調派系統

有效

• 申請號: 201610072921.8
• 申請日: 2016-02-01
• 公開（公告）號: CN105610972B
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 孫良君
• 申請（專利權）人: 中博信息技術研究院有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50;G06F9/455
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 南霆

本申請公開一種集群式的任務調派系統，其特征在于任務調度的處理。本申請的集群式的任務調派系統包括指令調派平臺、JVM容器與一節點服務器。指令調派平臺是由多臺任務服務器透過網絡相互連接，于這些任務服務器部署zookeeper服務，zookeeper服務根據任務要求返回運行指令。每一JVM容器用于運行業務服務，不同的運行指令對應存在JVM容器與業務服務。節點服務器接收來自于指令調派平臺的運行指令或返回發送指令至指令調派平臺。點服務器判斷取得運行指令的JVM容器的負載狀態是否為空閑或忙碌，若負載狀態空閑，JVM容器根據運行指令對任務要求進行處理，若負載狀態忙碌，節點服務器把運行指令暫存于等待隊列中。

技術領域

本申請涉及一種網絡服務的任務調派系統，具體涉及一種集群式的任務調派系統。

背景技術

隨著網絡速度高速的提升，也帶動網路服務的多樣性。而網路服務的背后是由硬件與軟件的搭配所實現的。硬件方面則是服務器的架構、資源或運算能力等。軟件方面則是任務分配和資源調度等演算機制所實現。

目前，比較流行的任務調度平臺包括基于Quartz、基于Redis存儲任務隊列數據、使用crontab命令、基于Mapduce計算框架、IBM MQ消息隊列等。這些調度平臺均存在一些缺陷：Quartz的單機版單進程應用，一旦發生宕機的情況，無法確保任務正確被觸發，在任務數量過高時會產生內存溢出的風險，執行效率低，容錯性差，不存在故障切換的機制。從Redis中讀取任務隊列數據時，由于各任務處理程序間爭奪數據可能導致死鎖。crontab配置都是單獨的寫在對應的服務器上，隨著服務的細化及任務數量的增加，對計劃任務的管理越來越復雜。且crontab對正在運行的計劃任務并沒有合理的監控機制。當服務器宕機或者停電無法將原有任務轉移到其他服務器完成。 Mapduce計算框架是屬于離線批處理系統，Mapduce計算框架的數據必須先存儲，才能運算，存儲和運算不能并行運行，不支持實時處理。

發明內容

本申請所要解決的技術問題在于提供集群式的任務調派系統，其特征在于包括指令調派平臺、多個JVM容器與至少一JVM容器。指令調派平臺是由多臺任務服務器透過網絡相互連接，于這些任務服務器中部署zookeeper 服務，zookeeper服務根據任務要求返回運行指令；每一JVM容器用于運行一業務服務，不同的運行指令對應存在JVM容器與所屬的業務服務；至少一節點服務器，節點服務器用于接收任務要求，節點服務器接收來自于指令調派平臺的運行指令或傳送發送指令至指令調派平臺，每一節點服務器設置節點編號、集群編碼與位址資訊，節點服務器根據任務搜尋相應業務的這些JVM 容器，由所搜尋的這些JVM容器向指令調派平臺取得運行指令；節點服務器判斷取得運行指令的JVM容器的負載狀態是否為空閑或忙碌，若負載狀態為空閑，則JVM容器根據運行指令對任務要求進行處理，若負載狀態為忙碌，則節點服務器把運行指令暫存于等待隊列中。

與現有技術相比，本申請基于Zookeeper分布式應用程序協調服務，可針對不斷增加的任務數量，越來越細化的任務內容，越來越復雜的任務管理的情況下獲得包括以下技術效果：

1)多服務器任務調度，不同業務分布在不同服務器上執行，當任務數量過高時，可以并發地執行，提高執行效率。集群方式存儲指令，如果其中的一臺服務器壞掉，能保證其他服務器提供不間斷的服務，不會因為一臺壞掉的服務器，而導致整個系統崩潰，確保在執行過程中可靠、穩定。

2)當有新的任務需要執行時，可以手動增加配置節點容器的相關屬性，擴展平臺的操作指令，進一步細化服務內容。同時調度程序可以通過容器名稱，到Zookeeper指令存儲庫中取指令，然后根據指令內容選擇相應容器進行操作，不會因為爭奪資源而造成系統的不可用。

3)可以實時地對正在運行的任務、異常任務進行監控，隨時啟停、忽略或者重新運行任務。

4)任務運行之前，可以對不同來源、格式和特點的數據進行抽取、轉換、加載，放到等待隊列中，減少錯誤數據的存儲空間。