[發(fā)明專利]在卷積神經(jīng)網(wǎng)絡(luò)模型中確定特征圖像的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201780096076.0
• 申請(qǐng)日: 2017-12-20
• 公開（公告）號(hào): CN111247527B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 胡慧
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06V10/44
• 分類號(hào): G06V10/44;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 顏晶

一種在卷積神經(jīng)網(wǎng)絡(luò)模型中確定特征圖像的方法和裝置，屬于模型訓(xùn)練技術(shù)領(lǐng)域。所述方法包括：獲取卷積神經(jīng)網(wǎng)絡(luò)模型中目標(biāo)處理層的多個(gè)輸入圖像(S210)；獲取目標(biāo)處理層的至少一組卷積核(S220)，其中，同組中的不同卷積核包含的元素相同且元素的排列順序不同；基于至少一組卷積核中的各卷積核，分別對(duì)不同的輸入圖像進(jìn)行卷積計(jì)算，得到多個(gè)中間矩陣，對(duì)多個(gè)中間矩陣求和得到特征圖像(S230)。所述方法通過不同卷積核包含的元素相同但元素的排列順序不同的特性，減少存儲(chǔ)卷積核占用的資源，減少讀取卷積核的次數(shù)，減少在卷積層確定特征圖像時(shí)產(chǎn)生的計(jì)算量，以及減少計(jì)算過程中消耗的系統(tǒng)運(yùn)行資源。

技術(shù)領(lǐng)域

本公開是關(guān)于模型訓(xùn)練技術(shù)領(lǐng)域，尤其是關(guān)于一種在卷積神經(jīng)網(wǎng)絡(luò)模型中確定特征圖像的方法和裝置。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、全連接層、激活函數(shù)等組成，單個(gè)卷積層的輸出包括多個(gè)特征圖像。在對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的過程中，需要對(duì)大量的樣本進(jìn)行計(jì)算。其中，在卷積層產(chǎn)生的計(jì)算量就占整個(gè)訓(xùn)練過程中總計(jì)算量的90％。

對(duì)于任意一個(gè)卷積層，可以根據(jù)輸入圖像的數(shù)量和輸出的特征圖像的數(shù)量，確定卷積核的數(shù)量，并生成相應(yīng)數(shù)量的卷積核，每個(gè)卷積核可以是一個(gè)小矩陣，如3×3矩陣，每個(gè)輸入圖像可以認(rèn)為是一個(gè)大矩陣。該卷積層的處理可以如下：將一個(gè)輸入圖像和一個(gè)卷積核進(jìn)行卷積計(jì)算，具體地，在輸入圖像中提取所有與卷積核大小相同的矩陣，將提取的矩陣與卷積核進(jìn)行對(duì)位元素相乘再相加，得到一個(gè)數(shù)值，將得到的所有數(shù)值組成一個(gè)中間矩陣，每個(gè)輸入圖像與一個(gè)卷積核進(jìn)行卷積計(jì)算都可以得到一個(gè)中間矩陣，這些中間矩陣相加可以得到一個(gè)特征圖像。

在實(shí)現(xiàn)本公開的過程中，發(fā)明人發(fā)現(xiàn)至少存在以下問題：

由于卷積神經(jīng)網(wǎng)絡(luò)包含卷積層的數(shù)量較多，每個(gè)卷積層需要輸出的特征圖像較多，每個(gè)特征圖像對(duì)應(yīng)的卷積核的數(shù)量也較多。每個(gè)卷積核對(duì)應(yīng)的計(jì)算量已經(jīng)較大了，而整個(gè)訓(xùn)練過程中總計(jì)算量就會(huì)呈指數(shù)增長。因此，在卷積層產(chǎn)生的計(jì)算量巨大，需要占用大量的處理資源。

發(fā)明內(nèi)容

為了克服相關(guān)技術(shù)中存在的問題，本公開提供了以下技術(shù)方案：

第一方面，提供了一種在卷積神經(jīng)網(wǎng)絡(luò)模型中確定特征圖像的方法，所述方法包括：

獲取卷積神經(jīng)網(wǎng)絡(luò)模型中目標(biāo)處理層的多個(gè)輸入圖像；

獲取所述目標(biāo)處理層的至少一組卷積核，其中，同組中的不同卷積核包含的元素相同且元素的排列順序不同；

基于所述至少一組卷積核中的各卷積核，分別對(duì)不同的輸入圖像進(jìn)行卷積計(jì)算，得到多個(gè)中間矩陣，對(duì)所述多個(gè)中間矩陣求和得到特征圖像，其中所述中間矩陣的每個(gè)元素是在卷積計(jì)算過程中對(duì)應(yīng)的卷積核與輸入圖像進(jìn)行對(duì)位元素相乘再相加得到的多項(xiàng)式。

本實(shí)施例提供的方法，獲取多個(gè)輸入圖像；生成至少一組卷積核，其中，同組中的不同卷積核包含的元素相同且元素的排列順序不同；基于至少一組卷積核中的各卷積核，分別對(duì)不同的輸入圖像進(jìn)行卷積計(jì)算，得到多個(gè)中間矩陣，對(duì)多個(gè)中間矩陣求和得到特征圖像。可以通過卷積核的不同卷積核包含的元素相同且元素的排列順序不同的特性，減少存儲(chǔ)卷積核占用的資源，減少讀取卷積核的次數(shù)，減少在卷積層確定特征圖像時(shí)產(chǎn)生的計(jì)算量，以及減少計(jì)算過程中消耗的系統(tǒng)運(yùn)行資源。

在一種可能的實(shí)現(xiàn)方式中，所述對(duì)所述多個(gè)中間矩陣求和得到特征圖像，包括：

將所述多個(gè)中間矩陣中相同位置的元素的多項(xiàng)式相加，得到所述特征圖像的每個(gè)元素對(duì)應(yīng)的多項(xiàng)式；

對(duì)所述特征圖像的每個(gè)元素對(duì)應(yīng)的多項(xiàng)式，分別進(jìn)行合并同類項(xiàng)處理；

對(duì)每個(gè)合并同類項(xiàng)處理后的多項(xiàng)式，分別求值，得到所述特征圖像。