[發明專利]一種任務處理方法、裝置、設備及存儲介質

在審

• 申請號: 202110720735.1
• 申請日: 2021-06-28
• 公開（公告）號: CN113326139A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 肖波
• 申請（專利權）人: 上海商湯科技開發有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06F16/901;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 馬麗;張穎玲

1.一種任務處理方法，其特征在于，所述方法包括：

響應于訓練任務在第一訓練周期的啟動事件，通過主進程發送工作進程創建請求至中間服務器進程；所述中間服務器進程為包括所述主進程中主線程的單線程進程；

基于所述工作進程創建請求，通過所述中間服務器進程以分叉函數的方式創建至少一個工作進程；所述至少一個工作進程用于執行所述訓練任務在所述第一訓練周期的訓練子任務；

響應于所述中間服務器進程的異常終止事件，通過所述主進程以生成函數的方式重啟所述中間服務器進程，以繼續執行所述訓練任務。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

響應于所述訓練任務的啟動事件，通過所述主進程停止所述主進程中的其他線程，并清理計算資源；所述其他線程為所述主進程中不是所述主線程的至少一個其他線程；所述訓練任務包括至少一個訓練周期；

通過所述主進程以所述分叉函數的方式創建所述中間服務器進程。

3.根據權利要求1或2所述的方法，其特征在于，所述訓練任務包括用于預處理的訓練子任務，所述方法還包括：

在所述至少一個工作進程執行所述第一訓練周期的用于預處理的訓練子任務的過程中，通過所述主進程發送第一批次的預處理數據獲取請求至所述至少一個工作進程；

響應于所述第一批次的預處理數據獲取請求，通過所述至少一個工作進程讀取所述第一批次對應的待處理數據；

通過所述至少一個工作進程對所述第一批次對應的待處理數據進行預處理，得到所述第一批次的預處理數據，并將所述第一批次的預處理數據發送至所述主進程，以通過所述主進程基于所述第一批次的預處理數據執行所述訓練任務在所述第一訓練周期的其他訓練子任務。

4.根據權利要求3所述的方法，其特征在于，所述通過所述至少一個工作進程讀取所述第一批次對應的待處理數據，包括：

基于所述第一批次的預處理數據獲取請求，通過所述至少一個工作進程獲取所述第一批次的批次索引；

基于所述第一批次的批次索引，通過所述至少一個工作進程讀取所述第一批次對應的待處理數據。

5.根據權利要求4所述的方法，其特征在于，通過所述至少一個工作進程基于所述第一批次的批次索引，讀取所述第一批次對應的待處理數據，包括：

通過所述至少一個工作進程從內存中讀取數據索引表；所述數據索引表通過所述主進程加載至所述內存；

基于所述第一批次的批次索引，通過所述至少一個工作進程在所述數據索引表中獲取所述第一批次的待處理數據的數據地址；

通過所述至少一個工作進程從所述第一批次的待處理數據的數據地址中讀取所述第一批次的待處理數據。

6.根據權利要求3所述的方法，其特征在于，所述方法還包括：

在得到所述第一批次的預處理數據的情況下，通過所述至少一個工作進程獲取第二批次的批次索引；所述第二批次為所述第一批次的下一批次；

基于所述第二批次的批次索引，通過所述至少一個工作進程讀取所述第二批次對應的待處理數據并進行預處理，得到所述第二批次的預處理數據；

在所述至少一個工作進程接收到所述主進程發送的所述第二批次的預處理數據獲取請求情況下，通過所述至少一個工作進程將得到的所述第二批次的預處理數據發送至所述主進程。

7.根據權利要求3所述的方法，其特征在于，在通過所述中間服務器進程以分叉函數的方式創建至少一個工作進程之后，所述方法還包括：

在所述主進程和每一所述工作進程之間創建通信管道。

8.根據權利要求1至7任一項所述的方法，其特征在于，所述方法包括：

響應于所述訓練任務在第一訓練周期的結束事件，停止所述至少一個工作進程，并保持所述中間服務器進程的運行狀態；

響應于所述訓練任務在第二訓練周期的啟動事件，通過所述主進程重新發送所述第二訓練周期對應的工作進程創建請求至所述中間服務器進程，以啟動所述第二訓練周期的訓練任務；所述第二訓練周期為所述第一訓練周期的下一訓練周期。