[發明專利]一種數據處理流程優化方法、系統及存儲介質

有效

• 申請號: 202110239785.8
• 申請日: 2021-03-04
• 公開（公告）號: CN113076181B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 王鵬飛
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06T1/20
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

1.一種數據處理流程優化方法，其特征在于，所述方法包括如下步驟：

為預處理任務、推理任務和后處理任務分別添加標識；

根據所述標識分別確定所述預處理任務、所述推理任務和所述后處理任務的運行時長；

根據所述運行時長分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量；

根據所述線程數量分別將所述預處理任務、所述推理任務和所述后處理任務劃分為若干線程；

通過所述線程執行數據處理操作；

所述運行時長包括第一運行時長、第二運行時長和第三運行時長；所述第一運行時長是所述預處理任務的運行時長，第三運行時長是所述后處理任務的運行時長；

所述推理任務包括至少一個推理子任務，獲取每個所述推理子任務的子任務運行時長，根據所述子任務運行時長降序排列，將排序第一的所述子任務運行時長作為所述第二運行時長；

所述根據所述運行時長分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量步驟進一步包括：

根據所述運行時長計算運行時長比率；

根據所述運行時長比率計算冗余系數；

根據所述運行時長比率和所述冗余系數分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量；

所述根據所述運行時長計算運行時長比率步驟進一步包括：

根據所述第一運行時長和所述第二運行時長計算所述預處理任務對應的第一運行時長比率；

根據所述第三運行時長和所述第二運行時長計算所述后處理任務對應的第三運行時長比率；

所述根據所述運行時長比率計算冗余系數步驟進一步包括：

根據所述第一運行時長比率計算所述預處理任務對應的第一冗余系數；

根據所述第三運行時長比率計算所述后處理任務對應的第三冗余系數；

所述根據所述運行時長比率和所述冗余系數分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量步驟進一步包括：

根據所述第一運行時長比率和所述第一冗余系數估算所述預處理任務所需的線程數量；

根據預設規則估算所述推理任務所需的線程數量；

根據所述第三運行時長比率和所述第三冗余系數估算所述后處理任務所需的線程數量；

所述預處理任務所需的線程數量表示為：ceil(T0/T+0.1*(T0/T)^2)

其中，T0表示第一運行時長，T表示第二運行時長；ceil()為返回大于或者等于指定表達式的最小整數的函數；

所述推理任務所需的線程數量等于推理子任務數量；

后處理任務所需的線程數量表示為：ceil(T1/T+0.1*(T1/T)^2)

其中，T1表示第三運行時長。

2.根據權利要求1所述的數據處理流程優化方法，其特征在于，所述根據所述線程數量分別將所述預處理任務、所述推理任務和所述后處理任務劃分為若干線程步驟還包括：

在所述預處理任務和所述推理任務之間設置第一隊列，使所述預處理任務和所述推理任務通過所述第一隊列進行數據通信；

在所述后處理任務和所述推理任務之間設置第二隊列，使所述后處理任務和所述推理任務通過所述第二隊列進行數據通信。