[發明專利]一種密集型任務分布式智能調度方法及系統

在審

• 申請號: 202010147487.1
• 申請日: 2020-03-05
• 公開（公告）號: CN111427672A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 姚宏宇
• 申請（專利權）人: 北京友友天宇系統技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京臻之知識產權代理有限公司 11629
• 代理人: 趙福梅

本發明公開了一種密集型任務分布式智能調度方法及系統，所述方法應用于調度節點，包括：獲得指定任務；基于所述指定任務指示管理節點運行任務管理，以監控所述指定任務的資源信息；獲得來自所述管理節點的資源請求，所述資源請求用于申請資源信息；發送所述資源信息至所述管理節點，所述資源信息用于所述管理節點指示任務節點運行所述指定任務。應用本發明實施例提供的方法，能夠滿足海量數據接入與計算的要求，并在充分利用資源、大力提高性能的同時，保障系統的穩定性。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種密集型任務分布式智能調度方法及系統。

背景技術

在分布式系統中，海量數據流高效接入與分發一致性，使數據源與計算子網的映射關系保持不變，同時可以應對數據源的批量接入與裁剪，并負責將數據源按照策略分發至相應子網。在分布式系統中，資源調度系統相當于大腦，其要處理所有數據節點和任務的各種請求，資源調度系統的設計直接影響系統整體的穩定性，因此，制定可行的資源調度計劃是必不可少的措施。

發明內容

本發明實施例提供了一種密集型任務分布式智能調度方法及系統，具有保障分布式系統穩定性的特點。

本發明一方面提供一種密集型任務分布式智能調度方法，所述方法應用于調度節點，包括：獲得指定任務；基于所述指定任務指示管理節點運行任務管理，以監控所述指定任務的資源信息；獲得來自所述管理節點的資源請求，所述資源請求用于申請資源信息；發送所述資源信息至所述管理節點，所述資源信息用于所述管理節點指示任務節點運行所述指定任務。

在一可實施方式中，所述基于所述指定任務指示管理節點運行任務管理，以監控所述指定任務的資源信息，包括：對所述指定任務進行解析，獲得解析結果；基于解析結果在管理節點列表確定管理節點；發送第一通知至管理節點，所述第一通知用于指示所述管理節點加載并運行任務管理，以監控所述指定任務的資源信息。

在一可實施方式中，在所述獲得來自所述管理節點的資源請求之后，所述方法還包括：與所述管理節點建立第一心跳。

在一可實施方式中，在所述發送所述資源信息至所述管理節點之后，所述方法還包括：與所述任務節點建立第二心跳；獲得來自所述任務節點的狀態信息，所述狀態信息用于表征所述任務節點的資源狀態。

在一可實施方式中，在與所述管理節點建立第一心跳和與所述任務節點建立第二心跳之后，所述方法還包括：基于所述第一心跳和第二心跳判斷所述指定任務的執行是否異常；當判斷為所述指定任務的執行異常時，基于所述指定任務重新指示管理節點運行任務管理。

本發明另一方面提供一種密集型任務分布式智能調度方法，所述方法應用于管理節點，所述方法包括：確定對應指定任務的資源信息；發送資源請求至調度節點，所述資源請求用于向調度節點申請資源信息；獲得來自調度節點的所述資源信息；基于資源信息發送第二通知至任務節點，所述第二通知用于指示所述任務節點運行所述指定任務。

在一可實施方式中，在所述發送資源請求至調度節點之后，所述方法還包括：與所述調度節點建立第一心跳。

本發明另一方面提供一種密集型任務分布式智能調度方法，所述方法應用于任務節點，所述方法包括：獲得來自管理節點的第二通知，所述第二通知用于指示運行指定任務；加載并運行任務程序，基于任務程序執行所述指定任務。

在一可實施方式中，所述任務程序還用于與所述管理節點建立第三心跳，并周期性向所述管理節點發送所述指定任務的運行狀態。