[發明專利]數據并發的處理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201911310868.0
• 申請日: 2019-12-18
• 公開（公告）號: CN111176797B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 謝雄航;黎江;高倩;廖小超;熊灝;查志偉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

本申請公開了一種數據并發的處理方法、裝置、電子設備及可讀存儲介質，涉及數據處理技術。具體實現方案為：獲取第一流程階段所輸出的所述第一流程階段的第一并發處理結果數據；根據第二流程階段的并發處理閾值，對所述第一并發處理結果數據進行所述第二流程階段的并發處理，以獲得所述第二流程階段的第二并發處理結果數據；以及輸出所述第二并發處理結果數據。

技術領域

涉及計算機技術，具體涉及數據處理技術，尤其涉及一種數據并發的 處理方法、裝置、電子設備及可讀存儲介質。

背景技術

通常，傳統的數據并發的處理方式，在各個不同的流程階段均采用統 一的并發架構進行數據拆分，所拆分出的每組數據采用獨立的線程完成各 流程階段。

然而，傳統的數據并發的處理方式，可能會導致部分流程階段的資源 消耗與時間消耗嚴重失衡，從而導致了系統性能的降低。

發明內容

本申請的多個方面提供一種數據并發的處理方法、裝置、電子設備及 可讀存儲介質，用以提升系統性能。

本申請的一方面，提供一種數據并發的處理方法，包括：

獲取第一流程階段所輸出的所述第一流程階段的第一并發處理結果 數據；

根據第二流程階段的并發處理閾值，對所述第一并發處理結果數據進 行所述第二流程階段的并發處理，以獲得所述第二流程階段的第二并發處 理結果數據；

輸出所述第二并發處理結果數據。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式， 所述根據第二流程階段的并發處理閾值，對所述第一并發處理結果數據進 行所述第二流程階段的并發處理，以獲得所述第二流程階段的第二并發處 理結果數據，包括：

根據所述第二流程階段的并發處理閾值，對全部所獲取的所述第一并 發處理結果數據進行分組處理，以獲得至少一個數據分組；

對所述至少一個數據分組中各數據分組中的第一并發處理結果數據 進行所述第二流程階段的并發處理，以獲得所述各數據分組的處理結果數 據，以作為所述第二流程階段的第二并發處理結果數據。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式， 所述根據第二流程階段的并發處理閾值，對所述第一并發處理結果數據進 行所述第二流程階段的并發處理，以獲得所述第二流程階段的第二并發處 理結果數據，包括：

獲取實時所獲取的所述第一并發處理結果數據中未進行所述第二流 程階段的并發處理的第一并發處理結果數據；

若所述未進行所述第二流程階段的并發處理的第一并發處理結果數 據的數量大于或等于第二流程階段的并發處理閾值，對所述未進行所述第 二流程階段的并發處理的第一并發處理結果數據中所述并發處理閾值的 第一并發處理結果數據進行所述第二流程階段的并發處理，以獲得所述第 二流程階段的第二并發處理結果數據。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式， 所述第二流程階段的并發處理閾值取決于所述第二流程階段的資源消耗 和時間消耗中的至少一項。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式， 所述第一流程階段的并發處理閾值與所述第二流程階段的并發處理閾值 獨立設置。

本申請的另一方面，提供一種數據并發的處理裝置，包括：

數據獲取單元，用于獲取第一流程階段所輸出的所述第一流程階段的 第一并發處理結果數據；

并發控制單元，用于根據第二流程階段的并發處理閾值，對所述第一 并發處理結果數據進行所述第二流程階段的并發處理，以獲得所述第二流 程階段的第二并發處理結果數據；