[發明專利]一種任務狀態更新方法、裝置、設備及介質

有效

• 申請號: 202110290936.2
• 申請日: 2021-03-18
• 公開（公告）號: CN113010385B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 邢良占
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 紀志超

本申請公開了一種任務狀態更新方法、裝置、設備及介質，應用于深度學習平臺，包括：利用K8S事件監聽器監聽K8S事件，得到Pod狀態變更事件，基于Pod狀態變更事件生成Pod狀態更新事件；利用Pod狀態更新監聽器監聽Pod狀態更新事件，當監聽到Pod狀態更新事件，將Pod狀態更新事件對應的Pod狀態確定為深度學習平臺中相應的目標任務的Pod狀態，并生成任務狀態更新事件；利用任務狀態更新監聽器監聽任務狀態更新事件，當監聽到任務狀態更新事件，將當前目標任務的狀態更新為目標任務的Pod狀態。本申請通過監聽并實時分析K8S事件來更新任務狀態，提高大規模集群、多用戶并行使用、大量任務運行場景下的任務狀態更新的實時性和準確度，同時也提高查詢任務狀態的響應速度。

技術領域

本發明涉及計算機技術領域，特別涉及一種任務狀態更新方法、裝置、設備及介質。

背景技術

目前，以深度學習為代表的人工智能技術取得了飛速的發展，這些技術正落地應用于各行各業。隨著深度學習的廣泛應用，很多領域產生了大量的、強烈的高效便捷訓練人工智能模型方面的需求，而這些訓練都是依賴于深度學習訓練平臺。深度學習平臺管理需要對平臺的任務進行管控，其中最重要的一點就是對任務的生命周期進行管理，這些都是依賴任務的狀態更新機制。

在目前的技術中，大部分深度學習平臺都是支持平臺任務狀態的更新的，主要通過兩種方式來實現訓練任務的狀態更新，一種是通過實時查詢底層kubernetes(以下簡稱K8S)平臺提供的API實時返回Pod的狀態信息，然后平臺進行映射返回任務的狀態信息；另外一種是后臺定時任務定時通過查詢底層K8S平臺提供的API實時返回Pod的狀態信息，然后平臺進行映射后得到任務的狀態信息保存到平臺的數據庫中。上述兩種任務更新方式不能很好的適應大規模集群、多用戶并行使用、大量任務運行的場景下的任務狀態更新，甚至可能會導致訓練任務無法準確的結束，無法正確的展示任務的狀態信息以及相關的其他信息，導致用戶使用深度學習平臺時出現問題。因此，如何在大規模集群、多用戶并行使用、大量任務運行的場景下準確、實時、有效的更新任務狀態并解決查詢任務狀態響應慢的問題，成為深度學習平臺逐步完善的關鍵之舉。

發明內容

有鑒于此，本發明的目的在于提供一種任務狀態更新方法、裝置、設備及介質，提高了大規模集群、多用戶并行使用、大量任務運行場景下的任務狀態更新的實時性和準確度，同時也提高了查詢任務狀態的響應速度。其具體方案如下：

本申請的第一方面提供了一種任務狀態更新方法，應用于深度學習平臺，包括：

創建K8S事件監聽器、Pod狀態更新監聽器和任務狀態更新監聽器；

利用所述K8S事件監聽器對K8S事件進行監聽，得到Pod狀態變更事件，并基于所述Pod狀態變更事件生成及發布相應的Pod狀態更新事件；

利用所述Pod狀態更新監聽器對所述Pod狀態更新事件進行監聽，當所述Pod狀態更新監聽器監聽到所述Pod狀態更新事件，則將所述Pod狀態更新事件對應的Pod狀態確定為所述深度學習平臺中相應的目標任務的Pod狀態，并生成及發布與所述目標任務對應的任務狀態更新事件；

利用所述任務狀態更新監聽器對所述任務狀態更新事件進行監聽，當所述任務狀態更新監聽器監聽到所述任務狀態更新事件，則將當前所述目標任務的狀態更新為所述目標任務的Pod狀態。

可選的，所述利用所述K8S事件監聽器對K8S事件進行監聽，得到Pod狀態變更事件，包括：

利用所述K8S事件監聽器對所述K8S事件進行監聽，對監聽到的所述K8S事件進行過濾，得到Pod狀態變更事件。

可選的，所述對監聽到的所述K8S事件進行過濾，包括：

根據監聽到的所述K8S事件的空間名稱對所述K8S事件進行過濾。

可選的，所述基于所述Pod狀態變更事件生成及發布相應的Pod狀態更新事件，包括：