[發明專利]一種復雜運維作業編排與調度系統及其方法

有效

• 申請號: 201710610131.5
• 申請日: 2017-07-25
• 公開（公告）號: CN107423122B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 丁明威;李亞瓊;花磊
• 申請（專利權）人: 蘇州博納訊動軟件有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京易捷勝知識產權代理事務所(普通合伙) 11613
• 代理人: 韓國勝

1.一種復雜運維作業編排與 調度系統，其特征在于，包括任務編排模塊、任務調度模塊和任務執行模塊；其中，

所述任務編排模塊，用于將作業劃分為整體復雜任務Task、運行步驟step及執行任務job三類對象，并根據三類對象的數據和關聯關系編排；

所述任務調度模塊，用于將任務調度劃分為server、scheduler和worker三個層面的調度，并根據任務編排模塊的編排執行任務調度；

所述任務執行模塊，用于根據任務調度的worker調度執行任務；

所述任務編排模塊中所述整體復雜任務Task接收業務數據，進行數據校驗，當數據格式正確情況下執行各個運行步驟step，在單個運行步驟step中獲取具體執行任務job列表，并對每個執行任務job列表的任務參數封裝成一個任務線程；

所述運行步驟step之間存在依賴關系則采用串行執行，所述運行步驟step之間不存在依賴關系則可放入同一個運行步驟step中執行，所述運行step內部的所述執行任務job采用并行執行；

線程執行時會將具體的任務發送到scheduler中，然后等待MQ中的job處理結果，即所述任務調度模塊中所述server向所述scheduler發送執行任務job的信息，所述scheduler接收后根據worker的數量以及單個worker的處理能力經驗值計算該次執行任務job需要調用worker的最優次數，并下發到具體worker中執行，worker根據自身處理能力的大小，將多個目標機器進行再次分割，然后并發執行任務，執行結束后將結果回傳到所述server的任務線程中。

2.根據權利要求1所述的一種復雜運維作業編排與調度系統，其特征在于，系統基于Zookeeper作為服務的注冊和管理中心；通過RabbitMQ進行服務模塊之間消息的傳遞；并采用MySQL作為基礎數據的數據庫。

3.根據權利要求1所述的一種復雜運維作業編排與調度系統，所述整體復雜任務Task、所述運行步驟step和所述執行任務job的數據和關聯關系數據存放在MySQL數據庫中。

4.根據權利要求1所述的一種復雜運維作業編排與調度系統，其特征在于，所述server和所述scheduler的調度方式包括pull和push兩種模式，即所述server定時向所述scheduler推送任務消息和scheduler在任務執行結束之后也會向server詢問是否有其他可執行的任務。

5.根據權利要求1所述的一種復雜運維作業編排與調度系統，其特征在于，所述任務執行模塊中worker接受到執行任務job執行的接口調用，判斷執行任務job的參數格式，若不滿足參數格式要求的直接返回出錯；若滿足則根據工具類型進行分類，worker會調用相應分類的模塊接口進行任務的執行和結果的收集。

6.根據權利要求1所述的一種復雜運維作業編排與調度系統，其特征在于，所述任務編排模塊、所述任務調度模塊和所述任務執行模塊運行基于B/S架構的管理平臺。

7.一種基于權利要求1至6任一所述的復雜運維作業編排與 調度系統的復雜運維作業編排與調度方法，其特征在于，包括如下步驟：將作業劃分為整體復雜任務Task、運行步驟step及執行任務job三類對象，并根據三類對象的數據和關聯關系編排；

將任務調度劃分為server、scheduler和worker三個層面的調度，并根據任務編排模塊的編排執行任務調度；根據任務調度的worker調度執行任務。