[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法、裝置、存儲(chǔ)介質(zhì)及芯片

在審

• 申請(qǐng)?zhí)枺?/td>: 202310903079.8
• 申請(qǐng)日: 2023-07-21
• 公開(kāi)（公告）號(hào): CN116629320A
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 丁維浩;唐劍;張法朝;牟小峰;趙東宇;夏立超
• 申請(qǐng)（專利權(quán)）人: 美智縱橫科技有限責(zé)任公司
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/08;G06F17/16
• 代理公司: 北京友聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 王丹玉;汪海屏

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，提出了神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法、裝置、存儲(chǔ)介質(zhì)及芯片，其中，神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法包括：提取神經(jīng)網(wǎng)絡(luò)中的卷積層，對(duì)卷積層中卷積核的數(shù)據(jù)結(jié)構(gòu)進(jìn)行轉(zhuǎn)換，得到目標(biāo)卷積核；對(duì)卷積層的輸入特征按照目標(biāo)維度進(jìn)行切片處理，得到多個(gè)切片特征；將一個(gè)切片特征和目標(biāo)卷積核輸入至矩陣乘法模塊，生成與切片特征對(duì)應(yīng)的中間特征；根據(jù)多個(gè)中間特征，生成輸出數(shù)據(jù)。通過(guò)本申請(qǐng)?zhí)峁┑募夹g(shù)方案可以提高神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法、裝置、存儲(chǔ)介質(zhì)及芯片。

背景技術(shù)

相關(guān)技術(shù)中，卷積神經(jīng)網(wǎng)絡(luò)在對(duì)數(shù)據(jù)處理領(lǐng)域中具有較為廣泛的應(yīng)用。在卷積神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)過(guò)程中，通常直接將輸入數(shù)據(jù)輸入至卷積層進(jìn)行計(jì)算，在數(shù)據(jù)較多的情況下，卷積層的計(jì)算速度較慢，影響卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理效率。

因此，如何提高卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理效率，成為了亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題之一。

為此，本申請(qǐng)的第一方面提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法。

本申請(qǐng)的第二方面提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置。

本申請(qǐng)的第三方面提供了一種數(shù)據(jù)處理方法。

本申請(qǐng)的第四方面提供了一種RISCV設(shè)備。

本申請(qǐng)的第五方面提出了一種可讀存儲(chǔ)介質(zhì)。

本申請(qǐng)的第六方面提出了一種計(jì)算機(jī)程序產(chǎn)品。

本申請(qǐng)的第七方面提出了一種芯片。

本申請(qǐng)的第一方面提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括：提取神經(jīng)網(wǎng)絡(luò)中的卷積層，對(duì)卷積層中卷積核的數(shù)據(jù)結(jié)構(gòu)進(jìn)行轉(zhuǎn)換，得到目標(biāo)卷積核；對(duì)卷積層的輸入特征按照目標(biāo)維度進(jìn)行切片處理，得到多個(gè)切片特征；將一個(gè)切片特征和目標(biāo)卷積核輸入至矩陣乘法模塊，生成與切片特征對(duì)應(yīng)的中間特征；根據(jù)多個(gè)中間特征，生成輸出特征。

本申請(qǐng)?zhí)峁┑纳窠?jīng)網(wǎng)絡(luò)的優(yōu)化方法，可以用于對(duì)神經(jīng)網(wǎng)絡(luò)中的卷積層的特征處理過(guò)程進(jìn)行優(yōu)化，以提高卷積層的特征處理的速度，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)對(duì)特征進(jìn)行處理的整體速度。

具體地，可以通過(guò)矩陣乘法模塊，對(duì)卷積層的輸入特征以及卷積層的卷積核進(jìn)行乘法計(jì)算，從而在實(shí)現(xiàn)了對(duì)輸入特征進(jìn)行卷積計(jì)算的基礎(chǔ)上，將原有的輸入特征的標(biāo)量計(jì)算轉(zhuǎn)換為矢量計(jì)算，從而有效地提高了輸入特征的計(jì)算效率，進(jìn)而達(dá)到提高卷積層對(duì)輸入特征的處理速度的效果。

具體地，首先，提取神經(jīng)網(wǎng)絡(luò)中的卷積層，并對(duì)卷積層中的卷積核進(jìn)行數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換，得到目標(biāo)卷積核。通過(guò)對(duì)卷積核進(jìn)行數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換，從而使得卷積核的數(shù)據(jù)結(jié)構(gòu)能夠適用于矩陣乘法模塊對(duì)特征數(shù)據(jù)進(jìn)行計(jì)算的過(guò)程，以保證計(jì)算后所得到的特征的準(zhǔn)確性。

進(jìn)一步地，對(duì)卷積層的輸入特征按照目標(biāo)維度進(jìn)行切片處理，得到多個(gè)切片特征。在通過(guò)矩陣乘法模塊進(jìn)行計(jì)算的過(guò)程中，每次將一個(gè)切片特征和目標(biāo)卷積核輸入至矩陣乘法模塊，得到與切片特征對(duì)應(yīng)的一個(gè)中間特征。在所有切片特征均計(jì)算完成的情況下，能夠得到與切片特征數(shù)量相同的多個(gè)中間特征，最后根據(jù)多個(gè)中間特征，生成卷積層的輸出特征。

其中，通過(guò)對(duì)卷積層的輸入特征按照目標(biāo)維度進(jìn)行切片處理，得到多個(gè)切片特征，從而使得矩陣乘法模塊在計(jì)算的過(guò)程中，可以多次分別對(duì)一個(gè)切片和目標(biāo)卷積核進(jìn)行矩陣乘法計(jì)算，這樣，可以避免大量數(shù)據(jù)同時(shí)進(jìn)行乘法計(jì)算而導(dǎo)致計(jì)算過(guò)程中產(chǎn)生的臨時(shí)數(shù)據(jù)占用大量的內(nèi)存，有效地降低了神經(jīng)網(wǎng)絡(luò)的內(nèi)存壓力，有助于提高數(shù)據(jù)計(jì)算的速度。同時(shí)，按照目標(biāo)維度對(duì)輸入特征進(jìn)行切片處理，可以準(zhǔn)確的指示輸入特征的切片規(guī)則，避免切片后的切片特征發(fā)生混亂，同時(shí)也為多個(gè)中間特征的整合提供整合規(guī)則。