[發(fā)明專利]多層神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和應(yīng)用方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811631475.5
• 申請日: 2018-12-29
• 公開（公告）號: CN111382832A
• 公開（公告）日: 2020-07-07
• 發(fā)明（設(shè)計）人: 高紅星;陶瑋;陳則瑋;溫東超;劉俊杰
• 申請（專利權(quán)）人: 佳能株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京怡豐知識產(chǎn)權(quán)代理有限公司 11293
• 代理人: 遲軍;李艷麗

1.一種多層神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用方法，其特征在于，所述應(yīng)用方法包括：

向多層神經(jīng)網(wǎng)絡(luò)模型輸入任務(wù)要求對應(yīng)的數(shù)據(jù)；

針對所述網(wǎng)絡(luò)模型中的至少一層，擴(kuò)展該層的輸入特征圖的數(shù)量，利用擴(kuò)展后的輸入特征圖進(jìn)行該層的數(shù)據(jù)運(yùn)算；

將所述數(shù)據(jù)在所述網(wǎng)絡(luò)模型中的各層中進(jìn)行運(yùn)算。

2.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，擴(kuò)展輸入特征圖的數(shù)量，具體包括：

通過復(fù)制擴(kuò)展前的輸入特征圖來擴(kuò)展輸入特征圖的數(shù)量；

或者，

針對擴(kuò)展前的至少一個輸入特征圖分別設(shè)定多個相同的濾波器，將輸入特征圖與為其設(shè)定的多個相同的濾波器進(jìn)行卷積，得到數(shù)量擴(kuò)展后的輸入特征圖；

或者，

在輸入特征圖的數(shù)量要被擴(kuò)展的層的上一卷積層中設(shè)置濾波器，其中，設(shè)置的濾波器數(shù)量等于要被擴(kuò)展后的輸入特征圖的數(shù)量且設(shè)置的濾波器中至少兩個濾波器是相同的濾波器，以及，輸出在所述上一卷積層中利用設(shè)置的濾波器生成的特征圖；

或者，

在輸入特征圖的數(shù)量要被擴(kuò)展的層與該層的上一卷積層之間的規(guī)則化層或非線性變換層中，對本層的輸入特征圖進(jìn)行復(fù)制后執(zhí)行本層的運(yùn)算并輸出，或?qū)?zhí)行本層的運(yùn)算后的特征圖進(jìn)行復(fù)制并輸出；

或者，

多次讀取擴(kuò)展前的輸入特征圖，得到擴(kuò)展后的輸入特征圖。

3.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，擴(kuò)展輸入特征圖的數(shù)量，具體包括：

將各輸入特征圖依次擴(kuò)展相同的倍數(shù)；

或者，

將各輸入特征圖擴(kuò)展相同的倍數(shù)，擴(kuò)展順序不同；

或者，

將各輸入特征圖依次擴(kuò)展，至少兩個輸入特征圖的擴(kuò)展倍數(shù)不同；

或者，

至少兩個輸入特征圖的擴(kuò)展倍數(shù)不同，且擴(kuò)展順序不同。

4.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，在向多層神經(jīng)網(wǎng)絡(luò)模型輸入任務(wù)要求對應(yīng)的數(shù)據(jù)之前，所述應(yīng)用方法還包括：

針對輸入特征圖的數(shù)量要被擴(kuò)展的層，拆分濾波器的通道，得到數(shù)量更多的拆分后的濾波器通道。

5.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，所述應(yīng)用方法還包括：

在輸入特征圖的數(shù)量被擴(kuò)展的層中，擴(kuò)展該層的濾波器通道的數(shù)量；

將擴(kuò)展后的輸入特征圖與擴(kuò)展后的濾波器通道進(jìn)行數(shù)據(jù)運(yùn)算。

6.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，所述應(yīng)用方法還包括：

在與輸入特征圖的數(shù)量被擴(kuò)展的層不同的層中，擴(kuò)展濾波器通道的數(shù)量；

將濾波器通道被擴(kuò)展的層中的輸入特征圖與擴(kuò)展后的濾波器通道進(jìn)行數(shù)據(jù)運(yùn)算。

7.根據(jù)權(quán)利要求1所述的應(yīng)用方法，其中，在所述網(wǎng)絡(luò)模型中的前N個卷積層中，在至少一個卷積層中擴(kuò)展輸入特征圖的數(shù)量，所述N為正整數(shù)。

8.根據(jù)權(quán)利要求7所述的應(yīng)用方法，其中，在所述前N個卷積層中,，在至少一個卷積層中擴(kuò)展濾波器通道數(shù)。

9.一種多層神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用方法，其特征在于，所述應(yīng)用方法包括：

向多層神經(jīng)網(wǎng)絡(luò)模型輸入任務(wù)要求對應(yīng)的數(shù)據(jù)；

將所述數(shù)據(jù)在網(wǎng)絡(luò)模型中自上而下地在各層中進(jìn)行運(yùn)算，其中，

在所述網(wǎng)絡(luò)模型中的至少一層中的濾波器被執(zhí)行了以下處理：

對該濾波器中的通道進(jìn)行分組，其中，在網(wǎng)絡(luò)模型的訓(xùn)練過程中與相同的輸入特征圖進(jìn)行運(yùn)算的通道屬于同一組；

將同一組內(nèi)的濾波器通道進(jìn)行累加，得到累加后的、用于與輸入特征圖進(jìn)行數(shù)據(jù)運(yùn)算的濾波器通道。

10.一種多層神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述訓(xùn)練方法包括：

在前向傳播時，針對待訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)模型中的至少一層，擴(kuò)展該層的輸入特征圖的數(shù)量，利用擴(kuò)展后的輸入特征圖進(jìn)行該層的數(shù)據(jù)運(yùn)算；

在反向傳播時，利用擴(kuò)展后的輸入特征圖的梯度值來確定擴(kuò)展前的輸入特征圖的梯度值，并利用擴(kuò)展前的輸入特征圖的梯度值對所述網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。