[發明專利]作業更新方法、裝置、計算機設備及資源管理系統

在審

• 申請號: 202110709899.4
• 申請日: 2021-06-25
• 公開（公告）號: CN113391906A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 姜亦朋;李亞坤;辛朝暉;張光輝;胡偉華;師銳
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

本公開涉及一種作業更新方法、裝置、計算機設備及存儲介質，該方法包括：資源管理器接收作業更新請求，該更新請求包括作業標識以及作業更新信息；基于作業標識將對應目標作業對應的第一應用管理器結束，將已分配給第一應用管理器的資源配置為等待狀態；基于作業更新信息啟動目標作業對應的第二應用管理器；在第二應用管理器向資源管理器申請資源時將等待狀態的資源分配給第二應用管理器，第二應用管理器啟動目標作業。在作業更新時將已分配資源配置為等待狀態不會被釋放，啟動作業對應的第二應用管理器后，將等待狀態的資源分配給第二應用管理器，如此實現作業無縫重啟更新，避免了作業更新過程中因為資源被其他作業搶走而造成作業更新失敗問題。

技術領域

本公開涉及計算機技術領域，尤其涉及一種作業更新方法、作業更新裝置、計算機設備及計算機可讀存儲介質。

背景技術

YARN(Yet Another Resource Negotiator，另一種資源協調器)是一種通用的資源管理系統，可以對多種計算框架資源進行管理和分配。YARN由RM(Resource Manager，資源管理器)和多個NM(Node Manager，節點管理器)組成，RM負責對各個NM上的資源進行管理和調度。Container(資源容器)是YARN中的資源抽象，封裝了一個NM上的多維度資源，如內存、CPU(Central Processing Unit，中央處理單元)、磁盤、網絡等。通過向RM申請，由RM選擇合適的NM分配并啟動Container，來執行相應的應用程序。

YARN上支持longrunning(連續運行)類型的作業，比如Flink(一種開源流處理框架)作業以及模型訓練作業，該類作業表現為分配到Container后會一直持續運行或運行較長的一段時間。在該類作業運行的過程中，可能存在需要更新作業的情況(例如更新作業依賴或作業配置)，而YARN中是不支持作業級別更新的，只能通過重啟作業來進行更新。

在作業重啟的過程中需要先釋放原作業的資源，再提交新作業的資源申請，然而，在集群中作業較多且資源比較緊張的情況下，資源很有可能被其他正在等待的作業申請走，導致需要重啟的新作業無法申請到合適的資源，從而作業更新失敗。

發明內容

本公開實施例的目的在于提供一種作業更新方法、作業更新裝置、計算機設備及計算機可讀存儲介質，以防止在作業更新的過程中因為重啟作業導致作業資源被其他作業搶走而造成的作業更新失敗的問題。

第一方面，本公開實施例提供一種作業更新方法，所述方法包括：

資源管理器接收作業更新請求，其中，所述作業更新請求至少包括作業標識以及對應的作業更新信息；

基于所述作業標識確定目標作業，將所述目標作業對應的第一應用管理器結束，并將已分配給所述第一應用管理器的資源配置為等待狀態；

基于所述作業更新信息啟動所述目標作業對應的第二應用管理器；

在所述第二應用管理器向所述資源管理器申請資源時，將所述配置為等待狀態的資源分配給所述第二應用管理器；

所述第二應用管理器啟動所述目標作業。

可選的，在本公開的一實施例中，所述作業更新請求攜帶作業的子任務更新信息，所述基于所述作業標識確定目標作業之后，所述方法還包括：

基于所述子任務更新信息，將所述目標作業的目標子任務對應的第一資源容器結束，并將所述第一資源容器配置為等待狀態；

啟動所述第二應用管理器之后，所述第二應用管理器向所述資源管理器發送所述目標子任務的資源請求；

所述第二應用管理器接收所述資源管理器響應所述資源請求而返回的資源分配結果，所述資源分配結果至少包括配置為等待狀態的所述第一資源容器的信息；