[發明專利]一種任務處理方法、裝置、設備及存儲介質

在審

• 申請號: 202110720735.1
• 申請日: 2021-06-28
• 公開（公告）號: CN113326139A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 肖波
• 申請（專利權）人: 上海商湯科技開發有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06F16/901;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 馬麗;張穎玲

本公開實施例公開了一種任務處理方法、裝置、設備及存儲介質，其中，該方法包括：響應于訓練任務在第一訓練周期的啟動事件，通過主進程發送工作進程創建請求至中間服務器進程；所述中間服務器進程為包括所述主進程中主線程的單線程進程；基于所述工作進程創建請求，通過所述中間服務器進程以分叉函數的方式創建至少一個工作進程；所述至少一個工作進程用于執行所述訓練任務在所述第一訓練周期的訓練子任務；響應于所述中間服務器進程的異常終止事件，通過所述主進程以生成函數的方式重啟所述中間服務器進程，以繼續執行所述訓練任務。

技術領域

本公開實施例涉及數據處理領域，尤其涉及一種任務處理方法、裝置、設備及存儲介質。

背景技術

隨著信息技術的發展和人工智能的興起，深度學習在日常生活中的應用日益廣泛。深度學習模型的種類也隨著應用的普及越來越多，結構也越來越復雜。深度學習模型的訓練系統(以下簡稱訓練系統)是對深度學習模型進行訓練的框架或平臺，目前常見的有Pytorch、TensorFlow、MXNet等。

為了提高整體訓練性能，訓練系統通常會啟動多個工作進程同時進行不同批次的數據讀取和預處理。但是傳統方案中的工作進程在運行過程中可能出現死鎖的現象，影響整體訓練效率。

發明內容

本公開實施例提供一種任務處理方法、裝置、設備及存儲介質。

第一方面，提供一種任務處理方法，包括：

響應于訓練任務在第一訓練周期的啟動事件，通過主進程發送工作進程創建請求至中間服務器進程；所述中間服務器進程為包括所述主進程中主線程的單線程進程；

基于所述工作進程創建請求，通過所述中間服務器進程以分叉函數的方式創建至少一個工作進程；所述至少一個工作進程用于執行所述訓練任務在所述第一訓練周期的訓練子任務；

響應于所述中間服務器進程的異常終止事件，通過所述主進程以生成函數的方式重啟所述中間服務器進程，以繼續執行所述訓練任務。

在一些實施例中，所述方法還包括：

響應于所述訓練任務的啟動事件，通過所述主進程停止所述主進程中的其他線程，并清理計算資源；所述其他線程為所述主進程中不是所述主線程的至少一個其他線程；所述訓練任務包括至少一個訓練周期；

通過所述主進程以所述分叉函數的方式創建所述中間服務器進程。

在本公開實施例中，由于在通過主進程創建該中間服務器進程之前，先停止主進程除了主線程的其他線程，并釋放了占用的計算資源，因此，在基于分叉函數創建中間服務器進程之后，可以使得中間服務器線程為單線程進程，避免工作進程出現死鎖的現象。同時，由于采用分叉函數創建中間服務器進程，相比于以生成函數創建中間服務器進程的方案，不僅可以減少無意義的數據拷貝，提高了啟動速度，還可以使得中間服務器進程可以訪問主進程已經加載的數據，避免了重新加載等其他數據操作，提升了數據讀取性能。

在一些實施例中，所述訓練任務包括用于預處理的訓練子任務，所述方法還包括：

在所述至少一個工作進程執行所述第一訓練周期的用于預處理的訓練子任務的過程中，通過所述主進程發送第一批次的預處理數據獲取請求至所述至少一個工作進程；

響應于所述第一批次的預處理數據獲取請求，通過所述至少一個工作進程讀取所述第一批次對應的待處理數據；

通過所述至少一個工作進程對所述第一批次對應的待處理數據進行預處理，得到所述第一批次的預處理數據，并將所述第一批次的預處理數據發送至所述主進程，以通過所述主進程基于所述第一批次的預處理數據執行所述訓練任務在所述第一訓練周期的其他訓練子任務。