[發明專利]一種任務調度處理方法及裝置

在審

• 申請號: 202111579613.1
• 申請日: 2021-12-22
• 公開（公告）號: CN114035931A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 張云堯;李亞坤
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 唐博

本發明涉及一種任務調度處理方法及裝置，涉及計算機技術領域。該方法包括：接收集群調度系統中資源節點發送的心跳信息，并獲取所述心跳信息中攜帶的任務標識；解析所述任務標識，確定所述資源節點在當前心跳周期內結束的至少一個已分配作業任務；獲取所述已分配作業任務的退出標識，確定所述已分配作業任務的任務結束原因；響應于所述退出標識符合預設標準，確定所述資源節點為第一類型資源節點。本實施例能夠提高集群調度系統的穩定性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種任務調度處理方法及裝置。

背景技術

集群調度系統是一種對集群進行資源管理和調度的基礎平臺，支持在大規模集群中調度各種任務，例如Hadoop YARN(Hadoop Yet Another Resource Negotiator，一種資源管理器)、K8S(Kubernetes，一種開源的容器編排引擎)、Docker Swarm(一種管理開源的應用容器引擎集群的工具)等。YARN集群調度系統通常包括資源管理器RM(ResourceManager)，節點管理器NM(Node Manager)，應用管理器AM(Application Master)以及資源容器(Container)等。資源容器(Container)是YARN中的資源抽象，封裝了一個NM上的多維度資源，如內存、CPU(Central Processing Unit，中央處理單元)、磁盤、網絡等。AM為作業的任務向RM申請資源，由RM通知相應的NM啟動分配的資源容器來執行相應的作業的任務。

如果為作業的任務分配的資源容器所在的節點發生故障，例如CPU、內存、硬盤等硬件故障，磁盤使用滿等硬件軟故障，或者缺少必要的依賴軟件等軟件故障，則會導致調度到該節點上的任務執行失敗。為了避免因節點故障導致任務無法正常執行，相關技術中由RM對目標節點執行任務的過程進行監控，一旦某一個節點的任務執行失敗，則會將該節點拉入黑名單，停止向該目標節點分配新的作業任務。然而，任務執行失敗有可能是任務本身的問題，如果任務一執行失敗就將節點拉入黑名單，那么很快所有的節點都會被拉入黑名單，導致整個系統宕機，無法執行新任務，影響任務運行的穩定性。

發明內容

本發明實施例的目的在于提供一種任務調度處理方法及裝置，用于提高集群調度系統的穩定性。

第一方面，本發明提供了一種任務調度處理方法，包括：

接收集群調度系統中資源節點發送的心跳信息，并獲取所述心跳信息中攜帶的任務標識；

解析所述任務標識，確定所述資源節點在當前心跳周期內結束的至少一個已分配作業任務；

獲取所述已分配作業任務的退出標識，確定所述已分配作業任務的任務結束原因；

響應于所述退出標識符合預設標準，確定所述資源節點為第一類型資源節點。

作為本發明實施例一種可選的實施方式，所述響應于所述退出標識符合預設標準，確定所述資源節點為第一類型資源節點，包括：

確定第一預設時長內獲取的指定退出標識的數量；所述指定退出標識包括各種表征所述已分配作業任務的任務結束原因為所述資源節點故障的退出標識；

響應于所述指定退出標識的數量大于或等于閾值數量，確定所述資源節點為第一類型資源節點。

作為本發明實施例一種可選的實施方式，所述方法還包括：

響應于在第二預設時長內未接收到所述資源節點發送的心跳信息，確定所述資源節點確定為所述第一類型資源節點。

作為本發明實施例一種可選的實施方式，所述方法還包括：

在確定所述資源節點為所述第一類型資源節點之后，停止向所述資源節點分配作業任務。

作為本發明實施例一種可選的實施方式，所述方法還包括：