[發明專利]一種批處理方法和裝置及計算機可讀存儲介質

有效

• 申請號: 201811647480.5
• 申請日: 2018-12-29
• 公開（公告）號: CN109684602B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李秀紅;梁云;顏深根;賈連成;李英晗
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06F9/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請公開了一種批處理方法及裝置。該方法包括：從多個分塊參數集中選取多個數據操作中每個數據操作對應的目標分塊參數集，其中，所述多個數據操作對應的目標分塊參數集對應相同的線程數；根據所述多個數據操作中每個數據操作對應的目標分塊參數集，對所述每個數據操作進行分塊處理，得到多個數據操作塊；將所述多個數據操作塊分配到線程塊上執行。還公開了相應的裝置。在批處理多個數據操作時，通過對多個數據操作進行分塊，可提高GPU的資源利用率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種批處理方法和裝置及計算機可讀存儲介質。

背景技術

隨著計算機硬件的不斷提升，計算機性能越來越強大，高性能計算被廣泛應用于深度學習、圖像處理和數據信號處理等任務中，其中，高性能計算中包括的矩陣算法等計算密集型任務對于應用的整體性能有著重要影響。然而，在實際應用中，很多數據操作，例如矩陣乘法等密集型操作，其數據量較小，無法充分發揮圖像處理單元(GPU)的計算能力。如何提高GPU在矩陣乘法等密集型計算任務中的性能是本領域的研究熱點。

發明內容

本申請提供一種批處理技術，以實現對數據操作的批處理。

第一方面，提供了一種批處理方法，包括：從多個分塊參數集中選取多個數據操作中每個數據操作對應的目標分塊參數集，其中，所述多個數據操作對應的目標分塊參數集對應相同的線程數；根據所述多個數據操作中每個數據操作對應的目標分塊參數集，對所述每個數據操作進行分塊處理，得到多個數據操作塊；將所述多個數據操作塊分配到線程塊上執行。

在一種可能實現的方式中，所述從多個分塊參數集中選取多個數據操作中每個數據操作對應的目標分塊參數集，包括：從所述多個分塊參數集中確定所述多個數據操作中每個數據操作的至少一個可用分塊參數集；從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集；確定所述多個數據操作的當前分塊參數集對應的線程數的第一總和；在所述線程數的第一總和大于第一閾值的情況下，更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，直到滿足更新截止條件，其中，所述更新截止條件包括所述多個數據操作的當前分塊參數集對應的線程數的第一總和小于或等于所述第一閾值，并將滿足所述更新截止條件的所述多個數據操作的當前分塊參數集所對應的更新前的分塊參數集作為所述多個數據操作的目標分塊參數集。

在另一種可能實現的方式中，所述從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集，包括：從第一數據操作的至少一個可用分塊參數集中選取對應的線程數最大且數據操作塊尺寸最小的分塊參數集作為所述第一數據操作的當前分塊參數集，其中，所述多個數據操作包括所述第一數據操作。

在又一種可能實現的方式中，所述更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，包括：將所述多個數據操作中的第二數據操作的當前分塊參數集由第一分塊參數集更新為第二分塊參數集，其中，所述第二數據操作的至少一個可用分塊參數集包括所述第一分塊參數集和所述第二分塊參數集，所述第二分塊參數集對應的數據操作塊尺寸大于所述第一分塊參數集的數據操作塊尺寸或者所述第二分塊參數集對應的線程數小于所述第一分塊參數集對應的線程數。