[發(fā)明專利]圖像數(shù)據(jù)的卷積運算方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010088688.9
• 申請日: 2020-02-11
• 公開（公告）號: CN111260037B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 易立強
• 申請（專利權(quán)）人: 深圳云天勵飛技術(shù)股份有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強

本申請?zhí)峁┝艘环N圖像數(shù)據(jù)的卷積運算方法、裝置、電子設(shè)備及存儲介質(zhì)，該方法包括：在提取出輸入圖像的特征圖的情況下，獲取卷積神經(jīng)網(wǎng)絡(luò)中單個卷積核的非零值分布；根據(jù)所述單個卷積核的非零值分布對所述單個卷積核進(jìn)行拆分，得到多個子卷積核；將各個所述子卷積核與在所述特征圖上對應(yīng)的運算范圍內(nèi)的數(shù)據(jù)進(jìn)行卷積運算，并將各個所述子卷積核的卷積運算結(jié)果進(jìn)行累加，得到所述單個卷積核的卷積運算結(jié)果；將所述單個卷積核的卷積運算結(jié)果在輸入通道上進(jìn)行累加，得到所述輸入圖像在輸出通道上的卷積運算結(jié)果。本申請實施例有利于減少卷積神經(jīng)網(wǎng)絡(luò)的運算量，從而降低邊緣設(shè)備的功耗。

技術(shù)領(lǐng)域

本申請涉及機器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種圖像數(shù)據(jù)的卷積運算方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著機器學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于社會各領(lǐng)域中，尤其在圖像識別、視頻分析、自然語言處理等領(lǐng)域取得了非凡的成就。高計算復(fù)雜度和高模型參數(shù)是卷積神經(jīng)網(wǎng)絡(luò)的特性，為了能將卷積神經(jīng)網(wǎng)絡(luò)部署在資源受限的邊緣設(shè)備上，現(xiàn)有技術(shù)通常采用模型壓縮的方法，在不降低模型精度的情況下，將卷積神經(jīng)網(wǎng)絡(luò)模型中不重要的權(quán)重或卷積核移除，實現(xiàn)模型參數(shù)稀疏化。然而，參數(shù)稀疏化僅起到了壓縮模型參數(shù)存儲量的效果，模型的計算量并未降低，仍然不能有效減少邊緣設(shè)備的功耗。

發(fā)明內(nèi)容

針對上述問題，本申請?zhí)峁┝艘环N圖像數(shù)據(jù)的卷積運算方法、裝置、電子設(shè)備及存儲介質(zhì)，有利于減少卷積神經(jīng)網(wǎng)絡(luò)的運算量，從而降低邊緣設(shè)備的功耗。

為實現(xiàn)上述目的，本申請實施例第一方面提供了一種圖像數(shù)據(jù)的卷積運算方法，該方法包括：

在提取出輸入圖像的特征圖的情況下，獲取卷積神經(jīng)網(wǎng)絡(luò)中單個卷積核的非零值分布；

根據(jù)所述單個卷積核的非零值分布對所述單個卷積核進(jìn)行拆分，得到多個子卷積核；

將各個所述子卷積核與在所述特征圖上對應(yīng)的運算范圍內(nèi)的數(shù)據(jù)進(jìn)行卷積運算，并將各個所述子卷積核的卷積運算結(jié)果進(jìn)行累加，得到所述單個卷積核的卷積運算結(jié)果；

將所述單個卷積核的卷積運算結(jié)果在輸入通道上進(jìn)行累加，得到所述輸入圖像在輸出通道上的卷積運算結(jié)果。

結(jié)合第一方面，在一種可能的實施方式中，所述根據(jù)所述單個卷積核的非零值分布對所述單個卷積核進(jìn)行拆分，得到多個子卷積核，包括以下之一：

根據(jù)所述單個卷積核的非零值分布，將每一非零值拆分為所述子卷積核，得到多個所述子卷積核；

根據(jù)所述單個卷積核的非零值分布，若內(nèi)存中指示的是行優(yōu)先，則將水平方向上不相鄰的每一非零值拆分為所述子卷積核，以及將水平方向上相鄰的非零值聚合為所述子卷積核，得到多個所述子卷積核；

根據(jù)所述單個卷積核的非零值分布，若內(nèi)存中指示的是列優(yōu)先，則將垂直方向上不相鄰的每一非零值拆分為所述子卷積核，以及將垂直方向上相鄰的非零值聚合為所述子卷積核，得到多個所述子卷積核。

結(jié)合第一方面，在一種可能的實施方式中，在所述將各個所述子卷積核與在所述特征圖上對應(yīng)的運算范圍內(nèi)的數(shù)據(jù)進(jìn)行卷積運算之前，所述方法還包括：

確定各個所述子卷積核在所述單個子卷積核中垂直方向和水平方向的起始位置、所述單個卷積核垂直方向和水平方向的移動步長以及各個所述子卷積核垂直方向和水平方向的大小；

根據(jù)所述起始位置、所述移動步長以及所述大小獲取各個所述子卷積核的所述運算范圍。

結(jié)合第一方面，在一種可能的實施方式中，所述將所述單個卷積核的卷積運算結(jié)果在輸入通道上進(jìn)行累加，包括：

確定輸入通道的數(shù)量C_i；

將所述單個卷積核的卷積運算結(jié)果在C_i個輸入通道上進(jìn)行累加。