[發明專利]一種異步任務分發系統及調度分發計算單元

有效

• 申請號: 201110093334.4
• 申請日: 2011-04-14
• 公開（公告）號: CN102685173A
• 公開（公告）日: 2012-09-19
• 發明（設計）人: 官文吉
• 申請（專利權）人: 天脈聚源(北京)傳媒科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及計算系統技術領域，尤其涉及一種異步任務分發系統及調度分發計算單元。

背景技術

在現有的系統平臺中，由于業務需求的不同，總存在各種任務處理機制，例如視頻轉碼、文檔轉換、郵件群發、語音識別等。在大型的系統平臺中，一方面由于系統規模過大，導致處理單元的處理能力往往不能夠進行實時處理，需要采用隊列控制機制，來進行異步處理。另一方面，部分處理機制需要較長耗時，例如視頻轉碼可能耗費幾十分鐘甚至更長時間才能完成。這些機制都決定了需要有一個異步任務分發的系統來調度完成。

現有的技術方案對于集群式的異步任務調度提出了一些實現思路，按照統一調度，各個分發的思想建立任務分發的機制，將來源于各個業務的任務請求由調度系統分發到具體的處理單元，并進行回饋。

典型的架構如圖1所示，其中，各個Web終端11來將轉碼任務統一發送到調度服務器12，調度服務器12再根據自己的策略將任務分發到轉碼服務器13，由轉碼服務器13完成后再進行任務回饋。這一方案實現了在一定規模內的集群轉碼任務的調度處理。

現有架構的缺點主要有如下幾點：僅適用于一定規模內的小集群作業，不適合大規模集群；其業務涉及相對單一，例如僅針對轉碼，不夠抽象，能容納的處理機制有限；其它一些類似的方案或者存在類似問題或者實現過于復雜，系統彼此之間耦合度太高，部署成本高。

發明內容

本發明的目的在于提出一種異步任務分發系統及調度分發計算單元，用于解決現有異步任務分發系統無法滿足大規模系統架構下多層級多集群集中式調度管理的問題。

為達此目的，本發明采用以下技術方案：

一種異步任務分發系統，該系統由若干計算單元和調度分發計算單元構成，具體如下：

所述計算單元，用于接收計算任務，完成具體任務處理過程，并回調任務處理結果；并負責將本計算單元向調度分發計算單元注冊；

所述調度分發計算單元，用于接收計算單元和其它調度分發計算單元的注冊，維護計算單元和其它調度分發計算單元的注冊信息，接收計算任務并轉發計算單元進行處理。

所述計算單元或調度分發計算單元僅能夠注冊到一個調度分發計算單元。

所述調度分發計算單元維護計算單元和其它調度分發計算單元的注冊信息，包括計算能力、計算類型和接收請求地址。

所述調度分發計算單元具體包括接收模塊、調度處理模塊和回調模塊，具體如下：

所述接收模塊，用于接收任務請求，接收計算單元和其它調度分發計算單元的注冊請求；

所述調度處理模塊，用于維護計算單元和其它調度分發計算單元的注冊信息，按照任務請求的特征確定所述任務發送處理的計算單元，接收所述任務處理結果；

所述回調模塊，用于發送所述任務處理結果。

所述調度處理模塊具體包括子單元管理子模塊、任務下發子模塊和回調處理子模塊，具體如下：

所述子單元管理子模塊，用于維護計算單元和其它調度分發計算單元的注冊信息；

所述任務下發子模塊，用于按照任務請求的特征確定所述任務發送處理的計算單元；

所述回調處理子模塊，用于接收所述任務處理結果，并發送所述回調模塊進行發送。

所述計算單元具體包括接收模塊、處理模塊和回調模塊，具體如下：

所述接收模塊，用于接收計算任務；

所述處理模塊，用于完成具體任務處理過程，并進行本計算單元在調度分發計算單元的注冊；

所述回調模塊，用于發送任務處理結果。

一種調度分發計算單元，應用于如上所述的異步任務分發系統，具體包括接收模塊、調度處理模塊和回調模塊，具體如下：

所述接收模塊，用于接收任務請求，接收計算單元和其它調度分發計算單元的注冊請求；

所述調度處理模塊，用于維護計算單元和其它調度分發計算單元的注冊信息，按照任務請求的特征確定所述任務發送處理的計算單元，接收所述任務處理結果；

所述回調模塊，用于發送所述任務處理結果。

所述調度處理模塊，還用于將本調度分發計算單元注冊到其它調度分發計算單元。

所述調度處理模塊具體包括子單元管理子模塊、任務下發子模塊和回調處理子模塊，具體如下：

所述子單元管理子模塊，用于將本調度分發計算單元注冊到其它調度分發計算單元；維護其它調度分發計算單元的注冊信息；

所述任務下發子模塊，用于按照任務請求的特征確定所述任務發送處理的計算單元；