[發明專利]基于云系統的作業調度方法和系統

在審

• 申請號: 201710058205.9
• 申請日: 2017-01-23
• 公開（公告）號: CN106874090A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 沈文川
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F11/14
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發明涉及計算機及通信領域，尤其涉及一種基于云系統的作業調度方法和系統。

背景技術

云系統是采用國際首創的HFP及HDRDP技術在局域網架構下實現云計算使用效果的新一代通用計算機系統產品。云系統，又稱云計算中心操作系統、云OS，是云計算后臺數據中心的整體管理運營系統。在云系統中進行作業調度時，往往都以集群為單位處理。crontab命令常見于Unix和類Unix的操作系統之中，用于設置周期性被執行的指令。該命令從標準輸入設備讀取指令，并將其存放于“crontab”文件中，以供之后讀取和執行，crontab文件包含送交cron守護進程的一系列作業和指令。但是，系統自帶的crontab調度只能在單一節點上執行，且不具備伸縮、擴展、高可用能力，給系統業務和運維帶來一定的困難，因此，亟需一種新的技術手段，能夠解決上述技術問題。

發明內容

本發明提供一種基于云系統的作業調度方法和系統，以解決上述技術問題。

本發明解決上述技術問題的技術方案如下：

一種基于云系統的作業調度方法，包括：

a.調度模塊通過在Zookeeper服務器上進行注冊，確認作業調度是否啟用，所述Zookeeper服務器的Zookeeper服務為集群部署；

b.注冊成功后，獲取令牌，并查詢所述令牌對應的作業調度配置表；

c.通過作業調度配置表獲取該待調度作業的處理作業列表；

d.執行待調度作業，調度完成后將調度結果反饋給調度模塊。

進一步，步驟c中還包括根據并發處理字段對處理作業列表進行多線程處理，并對各線程中的處理作業列表進行優先級排序，各線程循環處理作業列表。

通過多線程處理，并利用分布式內存數據庫共享特性承載業務配置數據和結果數據，通過將返回結果存放分布式內存數據庫中的結果集供云運維平臺使用，提高了處理速度。

進一步，所述調度模塊為多個，用于對調度作業均衡負載，調度模塊對作業調度配置表中的作業配置信息進行校驗，判斷配置信息中各字段是否滿足格式要求。

通過校驗，排除不符合格式要求的作業配置信息，減少無用信息處理，提升系統速度。

進一步，對所述作業配置信息進行解析，獲取處理時間周期，并根據預設的時間周期閾值判斷處理時間周期是否有效；

若判斷結果為無效，則處理下一條作業；

若判斷結果為有效，則讀取結果集表，判斷是否存在本周期未處理完的數據，若存在，則結束本次處理，處理下一條作業。

便于進行作業任務集群化管理與調度。

進一步，當作業配置信息符合要求且處理時間周期有效時，如果不存在本周期未處理完的數據，則將結果記錄插入到結果集表，記錄包含本作業的處理周期，并將處理狀態置為初始狀態，鎖定該作業。

避免進行重復調度處理，浪費系統資源。

進一步，調度模塊獲取到反饋結果后，對作業調度結果集表進行更新，并將作業調度結果集表和作業配置信息分別存儲于分布式內存數據庫。

利用分布式內存數據庫共享特性承載業務配置數據和結果數據，使調度監控服務更加可靠。進一步，所述Zookeeper服務器包括主用服務器和備用服務器，所述備用服務器用于當支撐集群中節點異常后，接管主用服務器進行工作，業務配置數據和結果集表分別承載于分布式內存數據庫。

提高系統的容災能力。

本發明還提供一種基于云系統的作業調度系統，包括：

Zookeeper服務器，用于提供注冊服務，確認調度作業是否啟用，所述Zookeeper服務器的Zookeeper服務為集群部署；

調度模塊，用于通過作業調度配置表獲取該待調度作業的處理作業列表，對待調度作業進行調度，所述調度模塊為多個；

反饋模塊，用于調度完成后將調度結果反饋給調度模塊。

進一步，還包括：

校驗模塊，用于對作業調度配置表中的作業配置信息進行校驗；

解析模塊，用于對所述作業配置信息進行解析，獲取處理時間周期，并根據預設的時間周期閾值判斷處理時間周期是否有效；

若判斷結果為無效，則處理下一條作業；

若判斷結果為有效，則讀取結果集表，判斷是否存在本周期未處理完的數據，若存在，則結束本次處理，處理下一條作業。