[發(fā)明專利]一種基于硬件特性的數(shù)據(jù)處理的方法及裝置

有效

• 申請?zhí)枺?/td>: 202310199473.8
• 申請日: 2023-02-24
• 公開（公告）號: CN116126750B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 王宏升;陳光;林峰
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06F12/0877
• 分類號: G06F12/0877;G06F7/50;G06F3/06
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本說明書公開了一種基于硬件特性的數(shù)據(jù)處理的方法及裝置。首先，獲取各待處理數(shù)據(jù)以及確定高速緩沖存儲器中所能緩存的數(shù)據(jù)大小，待處理數(shù)據(jù)用于表示神經(jīng)網(wǎng)絡(luò)模型執(zhí)行運算任務(wù)所需的數(shù)據(jù)。其次，在神經(jīng)網(wǎng)絡(luò)模型執(zhí)行運算任務(wù)時，按照數(shù)據(jù)大小，對各待處理數(shù)據(jù)進行切分，得到各切分數(shù)據(jù)。而后，針對每個切分數(shù)據(jù)，將該切分數(shù)據(jù)緩存到高速緩沖存儲器中，得到緩存后的切分數(shù)據(jù)，以使處理器基于數(shù)據(jù)大小對緩存后的切分數(shù)據(jù)進行運算，得到運算結(jié)果。最后，根據(jù)運算結(jié)果，進行數(shù)據(jù)處理。本方法可以提高數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本說明書涉及計算機技術(shù)領(lǐng)域，尤其涉及一種基于硬件特性的數(shù)據(jù)處理的方法及裝置。

背景技術(shù)

目前，在執(zhí)行神經(jīng)網(wǎng)絡(luò)模型的運算任務(wù)時，若神經(jīng)網(wǎng)絡(luò)模型的運算任務(wù)為矩陣乘法運算，處理器需要依次對運算任務(wù)所需的第一矩陣中的每行元素以及第二矩陣中的每列元素進行運算，得到運算結(jié)果。

由于，高速緩沖存儲器是以行為單位對矩陣進行緩存的，導致高速緩沖存儲器無法直接緩存第二矩陣中的一列元素。因此，高速緩沖存儲器會緩存第二矩陣中的所有元素。

并且，高速緩沖存儲器在每次運算后都需要清空數(shù)據(jù)，再緩存后續(xù)運算所需的數(shù)據(jù)。例如，若第二矩陣為兩行四列的矩陣，由于處理器無法確定后續(xù)運算過程中需要處理的數(shù)據(jù)，只能從高速緩沖存儲器中獲取第二矩陣中的第一列元素進行運算，得到運算結(jié)果中的第一個元素。然后，高速緩沖存儲器清空數(shù)據(jù)，再緩存第二矩陣中的第二列元素。接著，處理器從高速緩沖存儲器中獲取第二矩陣中的第二列元素進行運算，得到運算結(jié)果中的第二個元素，以此類推。可以看出，高速緩沖存儲器在運算過程中重復緩存第二矩陣中的所有元素，降低了數(shù)據(jù)處理的效率。

因此，如何提高數(shù)據(jù)處理的效率，則是一個亟待解決的問題。

發(fā)明內(nèi)容

本說明書提供一種基于硬件特性的數(shù)據(jù)處理的方法、裝置、存儲介質(zhì)及電子設(shè)備，以部分的解決現(xiàn)有技術(shù)存在的上述問題。

本說明書采用下述技術(shù)方案：

本說明書提供了一種基于硬件特性的數(shù)據(jù)處理的方法，包括：

獲取各待處理數(shù)據(jù)以及確定高速緩沖存儲器中所能緩存的數(shù)據(jù)大小，所述待處理數(shù)據(jù)用于表示神經(jīng)網(wǎng)絡(luò)模型執(zhí)行運算任務(wù)所需的數(shù)據(jù)；

在所述神經(jīng)網(wǎng)絡(luò)模型執(zhí)行運算任務(wù)時，按照所述數(shù)據(jù)大小，對所述各待處理數(shù)據(jù)進行切分，得到各切分數(shù)據(jù)；

針對每個切分數(shù)據(jù)，將該切分數(shù)據(jù)緩存到所述高速緩沖存儲器中，得到緩存后的切分數(shù)據(jù)，以使處理器基于所述數(shù)據(jù)大小對所述緩存后的切分數(shù)據(jù)進行運算，得到運算結(jié)果；

根據(jù)所述運算結(jié)果，進行數(shù)據(jù)處理。

可選地，確定高速緩沖存儲器中所能緩存的數(shù)據(jù)大小，具體包括：

獲取高速緩沖存儲器對應(yīng)的設(shè)備參數(shù)，所述設(shè)備參數(shù)包括：數(shù)據(jù)緩存形式以及存儲容量；

根據(jù)所述設(shè)備參數(shù)，確定高速緩沖存儲器中所能緩存的數(shù)據(jù)大小。

可選地，針對每個切分數(shù)據(jù)，將該切分數(shù)據(jù)緩存到所述高速緩沖存儲器中，得到緩存后的切分數(shù)據(jù)，以使處理器基于所述數(shù)據(jù)大小對所述緩存后的切分數(shù)據(jù)進行運算，得到運算結(jié)果，具體包括：

針對每個切分數(shù)據(jù)，將該切分數(shù)據(jù)緩存到所述高速緩沖存儲器中，得到緩存后的切分數(shù)據(jù)，以使處理器基于所述數(shù)據(jù)大小對所述緩存后的切分數(shù)據(jù)進行乘法運算，得到各乘法運算結(jié)果，并存儲到所述寄存器；

將所述寄存器中的各乘法運算結(jié)果緩存到所述高速緩沖存儲器中，以使處理器基于所述數(shù)據(jù)大小對所述高速緩沖存儲器中的各乘法運算結(jié)果進行加法運算，得到各加法運算結(jié)果；

根據(jù)所述各加法運算結(jié)果，確定運算結(jié)果。

可選地，所述數(shù)據(jù)大小為K行N+1列；