[發明專利]一種批處理方法和裝置及計算機可讀存儲介質

有效

• 申請號: 201811647480.5
• 申請日: 2018-12-29
• 公開（公告）號: CN109684602B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李秀紅;梁云;顏深根;賈連成;李英晗
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06F9/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種批處理方法，其特征在于，包括：

從多個分塊參數集中確定多個數據操作中每個數據操作的至少一個可用分塊參數集；

從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集；

確定所述多個數據操作的當前分塊參數集對應的線程數的第一總和；

在所述線程數的第一總和大于第一閾值的情況下，更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，直到滿足更新截止條件，其中，所述更新截止條件包括所述多個數據操作的當前分塊參數集對應的線程數的第一總和小于或等于所述第一閾值，并將滿足所述更新截止條件的所述多個數據操作的當前分塊參數集所對應的更新前的分塊參數集作為所述多個數據操作的目標分塊參數集，其中，所述多個數據操作對應的目標分塊參數集對應相同的線程數；

根據所述多個數據操作中每個數據操作對應的目標分塊參數集，對所述每個數據操作進行分塊處理，得到多個數據操作塊；

將所述多個數據操作塊分配到線程塊上執行。

2.根據權利要求1所述的方法，其特征在于，所述從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集，包括：

從第一數據操作的至少一個可用分塊參數集中選取對應的線程數最大且數據操作塊尺寸最小的分塊參數集作為所述第一數據操作的當前分塊參數集，其中，所述多個數據操作包括所述第一數據操作。

3.根據權利要求1或2所述的方法，其特征在于，所述更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，包括：

將所述多個數據操作中的第二數據操作的當前分塊參數集由第一分塊參數集更新為第二分塊參數集，其中，所述第二數據操作的至少一個可用分塊參數集包括所述第一分塊參數集和所述第二分塊參數集，所述第二分塊參數集對應的數據操作塊尺寸大于所述第一分塊參數集的數據操作塊尺寸或者所述第二分塊參數集對應的線程數小于所述第一分塊參數集對應的線程數。

4.根據權利要求1或2所述的方法，其特征在于，在所述從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集之前，還包括：

按照分塊參數集對應的線程數由大到小且塊尺寸由小到大的順序，對所述多個數據操作中每個數據操作對應的至少一個可用分塊參數集進行排序，得到所述每個數據操作的可用分塊參數集隊列；

所述從多個數據操作中每個數據操作對應的至少一個可用分塊參數集中選取所述每個數據操作的當前分塊參數集，包括：

從多個數據操作中每個數據操作的可用分塊參數集隊列中的首個分塊參數集作為所述每個數據操作的當前分塊參數集；

所述更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，包括：

在所述第一總和大于第一閾值的情況下，將所述至少一個數據操作中每個數據操作的當前分塊參數集從所述每個數據操作的可用分塊參數集隊列中刪除，并將所述每個數據操作的當前分塊參數集更新為所述每個數據操作的更新后的可用分塊參數集隊列中的首個分塊參數集。

5.根據權利要求1或2所述的方法，其特征在于，所述更新所述多個數據操作中的至少一個數據操作的當前分塊參數集，包括：

響應于所述至少一個數據操作中的每個數據操作的至少一個可用分塊參數集包括線程數與所述每個數據操作的當前分塊參數集的線程數相同且塊尺寸大于所述每個數據操作的當前分塊參數集的塊尺寸的第一可更新分塊參數集，將所述至少一個數據操作中每個數據操作的當前分塊參數集更新為所述第一可更新分塊參數集；和/或

響應于所述至少一個數據操作中存在第三數據操作，其中，所述第三數據操作的至少一個可用分塊參數集不包括所述第一可更新分塊參數集，將所述至少一個數據操作中每個數據操作的當前分塊參數集更新為線程數小于所述每個數據操作的當前分塊參數集的線程數的第二可更新分塊參數集。