[發明專利]一種云計算平臺作業調度方法及裝置

在審

• 申請號: 201310697757.6
• 申請日: 2013-12-18
• 公開（公告）號: CN104735095A
• 公開（公告）日: 2015-06-24
• 發明（設計）人: 何淼;曾鍵;陳剛
• 申請（專利權）人: 中國移動通信集團四川有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 郭振興;彭曉玲

技術領域

本發明涉及計算機信息處理技術領域，尤其涉及一種云計算平臺作業調度方法及裝置。

背景技術

隨著用戶規模的不斷增長和精細化運營管理要求的不斷提高,移動通信運營商內部的分析系統，如BASS、VGOP、FOS等系統都面臨大數據時代的沖擊，原有的系統架構已不能滿足業務的需求，普遍存在以下的問題：1、處理性能不足，無法滿足大數據和非結構化數據的處理性能要求；2、建設維護成本高，原有的“小型機+高端存儲+關系型數據庫”模式，軟硬件采購及維護費用都非常高；3、系統可靠性不高；4、擴展性較差，無法快速線性擴展來滿足數據處理增長的要求；

而以Hadoop為代表的云計算技術的出現，較好的解決了這些問題，因此移動通信運營商的分析系統都逐步向云計算平臺實施轉型。但隨著云計算平臺的規模不斷擴大，必需考慮在一定資源限度下最有效承載各種業務，因此，如何提高云計算平臺的資源利用率成為了影響云計算平臺使用效果的關鍵因素，從而成為我們需要迫切解決的一個問題。

BASS（Business?Analyse?Support?System）為移動運營商經營分析系統，是指以企業決策支持、市場經營分析和一線營銷服務支撐為服務目標的智能支撐信息系統；VGOP(Value-added?Service?General?Operation?Platform)為移動運營商增值業務綜合運營平臺，負責提供跨業務平臺統一運營能力的數據業務支撐系統；FOS(data?Flow?Operation?Management?System)為移動運營商流量經營綜合運營管理系統，提供分析挖掘、精確營銷和管理能力的IT支撐系統。

在現有架構下，各業務系統獨立的提交作業給云計算平臺，并預先聲明資源需求。云計算平臺接收作業并放入統一的作業隊列中，作業調度模塊按照一個簡單的先進先出（FIFO隊列）調度算法進行作業調度，并按照各作業預先提出的資源需求進行資源分配，先到先得。所有作業的資源需求均需要提前確認，多任務之間的資源爭用及作業之間依賴關系也需要在提交作業之前提前規劃。

現有的架構在單一的業務系統中使用時有較高的調度效率，但是在多系統的復雜業務環境下，存在資源使用不均衡、無法反應業務特性、缺乏動態調度機制等問題，具體如下：

（一）資源使用不均衡

云計算平臺共有400個CPU內核（CPU?core）的物理資源。在某一時段，只有一個作業ID為2.1的BASS接口數據處理作業運行，該作業的資源需求為100個CPU?core，遠小于云計算平臺現有可用的資源，但云計算平臺只能按照該作業提交的資源需求分配100個CPU?core，無法分配更多的資源給該作業，導致云計算平臺資源閑置，而該作業的運行時間也較長。如能自動增加分配該作業的資源，則可將作業運行時間大幅度縮短。

（二）無法根據作業優先級調度

云計算平臺共有400個CPU?core的物理資源。在某一時段，已有ID為1.3的FOS系統匯總層數據處理作業開始運行，該作業占用300個CPU?core，預計作業執行時間為2個小時，優先級別為低。若此時有一個ID為4.1的多平臺數據統計的臨時作業提交，該作業優先級別為高，資源需求為200個CPUcore，預計運行時間為10分鐘。按照云計算平臺現有的管理方式，ID為4.1的作業需要排隊等待ID為1.3的作業全部完成后釋放資源才能開始運行，需等待2小時左右，不能滿足高優先級作業的時間要求。如能暫停ID為1.3的作業優，優先先執行ID為4.1的作業，則僅需10余分鐘即可完成高優先級作業。

（三）無法根據業務特性和依賴性進行調度

云計算平臺的2個作業存在依賴關系，作業ID為2.3的BASS系統匯總數據處理作業依賴于作業ID為2.2的BASS系統輕度匯總數據處理作業的結果。因某些原因（作業提交時間延遲、作業異常中斷、資源爭用等）導致隊列中ID為2.3的作業排在ID為2.2的作業之前時，現有的管理方式將首先運行ID為2.3的作業，導致該作業數據處理結果異常。在多個業務系統的復雜環境下，系統之間及系統內部的作業存在依賴性和嚴格的串行處理順序，現有架構不能自動處理這些關系，更無法保證關鍵路徑作業的按時處理。

發明內容

為了解決現有技術中無法根據作業優先級調度，無法根據業務特性和依賴性進行作業調度，云計算平臺資源使用不均衡的技術問題，本發明提出一種云計算平臺作業調度方法及裝置。

本發明的一個方面，提供一種云計算平臺作業調度方法，包括：