[發明專利]一種數據處理流程優化方法、系統及存儲介質

有效

• 申請號: 202110239785.8
• 申請日: 2021-03-04
• 公開（公告）號: CN113076181B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 王鵬飛
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06T1/20
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種數據處理流程優化方法，包括如下步驟：第一步，為預處理任務、推理任務和后處理任務分別添加標識；第二步，根據標識分別確定預處理任務、推理任務和后處理任務的運行時長；根據運行時長分別估算預處理任務、推理任務和后處理任務所需的線程數量；第三步，根據線程數量分別將預處理任務、推理任務和后處理任務劃分為若干線程；通過若干線程執行數據處理操作，無需等待；通過上述方式，本發明實現了對數據處理流程的優化，提高了計算效率和硬件資源利用率。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據處理流程優化方法、系統及存儲介質。

背景技術

數據處理任務包括預處理任務、推理任務和后處理任務；在實際應用中，現有技術的處理設備是CPU+GPU的異構服務器；其中，預處理任務由CPU完成，推理任務由GPU完成，后處理任務由CPU或GPU完成；而現有的處理流程為串行處理，按照預處理任務、推理任務和后處理任務的順序依次調用設備進行處理；現有技術的缺陷在于處理時需要等待前一個任務完成，導致處理效率低、處理時間長。

發明內容

本發明主要解決的技術問題是提供一種數據處理流程優化方法、系統及存儲介質，能夠解決數據處理流程計算效率低，計算時間長的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種數據處理流程優化方法，所述方法包括如下步驟：

為預處理任務、推理任務和后處理任務分別添加標識；

根據所述標識分別確定所述預處理任務、所述推理任務和所述后處理任務的運行時長；

根據所述運行時長分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量；

根據所述線程數量分別將所述預處理任務、所述推理任務和所述后處理任務劃分為若干線程；

通過所述線程執行數據處理操作。

作為一種改進方案，所述運行時長包括第一運行時長、第二運行時長和第三運行時長；所述第一運行時長是所述預處理任務的運行時長，第三運行時長是所述后處理任務的運行時長；

所述推理任務包括至少一個推理子任務，獲取每個所述推理子任務的子任務運行時長，根據所述子任務運行時長降序排列，將排序第一的所述子任務運行時長作為所述第二運行時長。

進一步具體地，所述根據所述運行時長分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量步驟進一步包括：

根據所述運行時長計算運行時長比率；

根據所述運行時長比率計算冗余系數；

根據所述運行時長比率和所述冗余系數分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量。

進一步具體地，所述根據所述運行時長計算運行時長比率步驟進一步包括：

根據所述第一運行時長和所述第二運行時長計算所述預處理任務對應的第一運行時長比率；

根據所述第三運行時長和所述第二運行時長計算所述后處理任務對應的第三運行時長比率。

進一步具體地，所述根據所述運行時長比率計算冗余系數步驟進一步包括：

根據所述第一運行時長比率計算所述預處理任務對應的第一冗余系數；

根據所述第三運行時長比率計算所述后處理任務對應的第三冗余系數。

進一步具體地，所述根據所述運行時長比率和所述冗余系數分別估算所述預處理任務、所述推理任務和所述后處理任務所需的線程數量步驟進一步包括：