[發(fā)明專利]稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及相關(guān)產(chǎn)品

有效

• 申請?zhí)枺?/td>: 201711480629.0
• 申請日: 2017-12-29
• 公開（公告）號: CN109993286B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 曹慶新;黎立煌;李煒
• 申請（專利權(quán)）人: 深圳云天勵飛技術(shù)有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本公開提供一種稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及相關(guān)產(chǎn)品，所述方法包括：接收稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算指令，依據(jù)所述計(jì)算指令獲取所述計(jì)算指令對應(yīng)的權(quán)值CO*CI*n*m；確定所述權(quán)值的核尺寸KERNEL SIZE，以所述核尺寸為基本粒度掃描所述權(quán)值得到權(quán)標(biāo)識，將權(quán)標(biāo)識的第二特征值對應(yīng)的KERNEL存儲，將權(quán)標(biāo)識的第一特征值對應(yīng)的KERNEL刪除；掃描權(quán)標(biāo)識的所有值，如該值等于第二特定值，提取該值對應(yīng)的KERNEL以及輸入數(shù)據(jù)，將輸入數(shù)據(jù)與KERNEL執(zhí)行運(yùn)算得到初始結(jié)果，如該值等于第一特征值，不讀取該值對應(yīng)的KERNEL以及輸入數(shù)據(jù)；將所有的初始結(jié)果進(jìn)行運(yùn)算處理得到所述計(jì)算指令的計(jì)算結(jié)果。本發(fā)明提供的技術(shù)方案具有功耗小的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，具體涉及一種稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及相關(guān)產(chǎn)品。

背景技術(shù)

隨著人工智能技術(shù)的日益成熟，各行各業(yè)的應(yīng)用場景和產(chǎn)品需求爆發(fā)式增長；為了達(dá)到商用產(chǎn)品的需求，人工智能的神經(jīng)網(wǎng)絡(luò)算法的計(jì)算復(fù)雜度非常巨大，這對硬件而言，需要高昂的成本和巨大的功耗；而這對于海量的嵌入式設(shè)備和終端設(shè)備而言，計(jì)算量過大以及功耗巨大是非常大的瓶頸；所以業(yè)界的算法都在尋求更小更快的神經(jīng)網(wǎng)絡(luò)模型，而神經(jīng)網(wǎng)絡(luò)稀疏化是當(dāng)前算法的一個重要優(yōu)化方向和研究分支。

現(xiàn)有的實(shí)現(xiàn)技術(shù)稀疏神經(jīng)網(wǎng)絡(luò)計(jì)算在實(shí)現(xiàn)上比較復(fù)雜，難以把計(jì)算資源的利用率充分發(fā)揮出來，所以現(xiàn)有的稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算量大，功耗大。

申請內(nèi)容

本申請實(shí)施例提供了一種稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及相關(guān)產(chǎn)品，可以減少稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算量，從而具有降低功耗、節(jié)省計(jì)算時間的優(yōu)點(diǎn)。

第一方面，本申請實(shí)施例提供一種稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，所述方法包括如下步驟：

接收稀疏神經(jīng)網(wǎng)絡(luò)的計(jì)算指令，依據(jù)所述計(jì)算指令獲取所述計(jì)算指令對應(yīng)的權(quán)值CO NUM*CI NUM*n*m；確定所述權(quán)值的核尺寸KERNEL SIZE，以所述核尺寸為基本粒度掃描所述權(quán)值得到QMASK權(quán)標(biāo)識，所述權(quán)標(biāo)識包括：CO NUM*CI NUM個值，若第k個基本粒度KERNEL _k內(nèi)所有的權(quán)重值均為0，對該KERNEL_K在權(quán)標(biāo)識的對應(yīng)位置權(quán)標(biāo)識[K]標(biāo)記為第一特定值，若KERNEL_K內(nèi)的權(quán)重值不都為0，對該KERNEL _K在權(quán)標(biāo)識的對應(yīng)位置權(quán)標(biāo)識[K]標(biāo)記為第二特定值；k的取值范圍為【1，CO NUM*CI NUM】；將權(quán)標(biāo)識的第二特征值對應(yīng)的KERNEL[n][m]存儲，將權(quán)標(biāo)識的第一特征值對應(yīng)的KERNEL[n][m]刪除；

掃描權(quán)標(biāo)識的所有值，如該值等于第二特定值，提取該值對應(yīng)的KERNEL以及該KERNEL對應(yīng)的輸入數(shù)據(jù)，將輸入數(shù)據(jù)與KERNEL執(zhí)行運(yùn)算得到初始結(jié)果，若該值等于第一特征值，不讀取該值對應(yīng)的KERNEL以及輸入數(shù)據(jù)；

將所有的初始結(jié)果進(jìn)行運(yùn)算處理得到所述計(jì)算指令的計(jì)算結(jié)果。

可選的，所述n以及m的取值范圍為大于等1的整數(shù)。

可選的，所述將權(quán)標(biāo)識的第二特征值對應(yīng)的KERNEL[n][m]存儲，包括：

掃描核標(biāo)識WMASK獲取核標(biāo)識位置對應(yīng)的值，存儲QASM＝1且核標(biāo)識＝1位置對應(yīng)的KERNEL值。。

可選的，如所述n＝3，所述將輸入數(shù)據(jù)與KERNEL執(zhí)行運(yùn)算得到初始結(jié)果，包括：