[發明專利]一種基于硬件特性的數據處理的方法及裝置

有效

• 申請號: 202310199473.8
• 申請日: 2023-02-24
• 公開（公告）號: CN116126750B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 王宏升;陳光;林峰
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F12/0877
• 分類號: G06F12/0877;G06F7/50;G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種基于硬件特性的數據處理的方法，其特征在于，包括：

獲取各待處理數據以及確定高速緩沖存儲器中所能緩存的數據大小，所述待處理數據用于表示神經網絡模型執行運算任務所需的數據，所述數據大小為K行N+1列；

在所述神經網絡模型執行運算任務時，按照所述數據大小，對所述各待處理數據進行切分，得到各切分數據，其中，按照所述數據大小，對所述各待處理數據進行切分，得到由M行K列的各元素組成的第一切分數據，以及由K行N列的各元素組成的第二切分數據；

針對每個切分數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據，以使處理器基于所述數據大小對所述緩存后的切分數據進行乘法運算，得到各乘法運算結果，并存儲到寄存器，其中，將所述第一切分數據中的第m行的K個元素以及所述第二切分數據中的K行N列的各元素緩存到所述高速緩沖存儲器的K行N+1列的內存塊中，得到緩存后的切分數據，m為不大于M的正整數，一個內存塊中緩存一個元素，以及針對每個切分數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據，以使處理器對所述第一切分數據中的第m行第k列的元素與所述第二切分數據中的第k行的N個元素進行乘法運算，得到第k行的N個乘法運算結果，將K行N列的各乘法運算結果存儲到所述寄存器，k為不大于K的正整數；

將所述寄存器中的各乘法運算結果緩存到所述高速緩沖存儲器中，以使處理器基于所述數據大小對所述高速緩沖存儲器中的各乘法運算結果進行加法運算，得到各加法運算結果，其中，所述處理器對所述高速緩沖存儲器中的各乘法運算結果中的第n列元素中的K個元素進行加法運算，得到N個加法運算結果，n為不大于N的正整數；

根據所述各加法運算結果，確定運算結果；

根據所述運算結果，進行數據處理。

2.如權利要求1所述的方法，其特征在于，確定高速緩沖存儲器中所能緩存的數據大小，具體包括：

獲取高速緩沖存儲器對應的設備參數，所述設備參數包括：數據緩存形式以及存儲容量；

根據所述設備參數，確定高速緩沖存儲器中所能緩存的數據大小。

3.如權利要求1所述的方法，其特征在于，所述處理器中包含有若干個線程；

針對每個切分數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據，以使處理器對所述第一切分數據中的第m行第k列的元素與所述第二切分數據中的第k行的N個元素進行乘法運算，得到第k行的N個乘法運算結果，將K行N列的各乘法運算結果存儲到所述寄存器，具體包括：

針對每個切分數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據，以使處理器中的各線程，對所述第一切分數據中的第m行第k列的元素與所述第二切分數據中的第k行的N個元素進行并行乘法運算，得到第k行的N個乘法運算結果，將K行N列的各乘法運算結果存儲到所述寄存器。

4.如權利要求3所述的方法，其特征在于，將所述寄存器中的各乘法運算結果緩存到所述高速緩沖存儲器中，以使處理器對所述高速緩沖存儲器中的各乘法運算結果中的第n列元素中的K個元素進行加法運算，得到N個加法運算結果，具體包括：

將所述寄存器中的各乘法運算結果緩存到所述高速緩沖存儲器中，以使所述處理器中的執行并行乘法運算后的各線程，對所述高速緩沖存儲器中的各乘法運算結果中的第n列元素中的K個元素進行加法運算，得到N個加法運算結果。

5.如權利要求1所述的方法，其特征在于，根據所述各加法運算結果，確定運算結果，具體包括：

將所述各加法運算結果緩存到所述寄存器，通過所述寄存器將所述各加法運算結果存儲到主存儲器；

根據所述主存儲器中的各加法運算結果，確定運算結果。

6.如權利要求1所述的方法，其特征在于，針對每個切分數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據，具體包括：

針對每個切分數據，刪除所述高速緩沖存儲器中的數據，將該切分數據緩存到所述高速緩沖存儲器中，得到緩存后的切分數據。