[發(fā)明專利]一種用于構(gòu)造高維卷積加速神經(jīng)網(wǎng)絡(luò)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811533296.8
• 申請(qǐng)日: 2018-12-14
• 公開（公告）號(hào): CN109740745A
• 公開（公告）日: 2019-05-10
• 發(fā)明（設(shè)計(jì)）人: 代龍泉;張雪利;唐金輝
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 朱寶慶

1.一種用于構(gòu)造高維卷積加速神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，包括以下步驟：

步驟1，輸入待加速的高維卷積；

步驟2，構(gòu)造加速神經(jīng)網(wǎng)絡(luò)AccNet的輸入；

步驟3，將CP分解擴(kuò)展到gCP分解并提供相應(yīng)的g-卷積，構(gòu)成加速神經(jīng)網(wǎng)絡(luò)AccNet；

步驟4，擴(kuò)展gCP分解到級(jí)聯(lián)gCP分解；

步驟5，計(jì)算函數(shù)sum和激活函數(shù)g的梯度并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟6，從訓(xùn)練有素的AccNet中提取高維卷積的加速算法。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟2具體包括如下步驟：

步驟201，假設(shè)和其中是圖像塊；

步驟202，根據(jù)SBS(下采樣-模糊-上采樣)流程的特征，構(gòu)造出疊加的{L^j,1≤j≤l}作為AccNet的輸入。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟3具體包括如下步驟：

步驟301，將SBS流程中的CP分解擴(kuò)展到gCP分解，并用激活函數(shù)g代替乘法運(yùn)算，得到g-卷積；

步驟302，使用g-卷積構(gòu)造AccNet，并對(duì)應(yīng)到SBS流程中的splatting、blurring和slicing操作；其中

Splatting操作通過對(duì)輸入進(jìn)行采樣將空間素化為規(guī)則空間，并將采樣點(diǎn)嵌入到網(wǎng)格的離散化頂點(diǎn)中；

Blurring操作對(duì)離散的頂點(diǎn)進(jìn)行張量分解和卷積運(yùn)算，將矩陣映射到標(biāo)量；

Slicing是splatting的逆操作，對(duì)上一步得到的結(jié)果進(jìn)行重新采樣回到輸入空間。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟5具體包括如下步驟：

步驟501，訓(xùn)練過程選擇的激活函數(shù)g為g(a，b)＝max{a，0}或g(a，b)＝max{ab，0}；

步驟502，計(jì)算sum和g函數(shù)的梯度，AccNet作為這兩個(gè)基礎(chǔ)計(jì)算的組合，通過反向傳播算法進(jìn)行訓(xùn)練，使得逼近誤差達(dá)到最小。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟6具體包括如下步驟：

步驟601，完成訓(xùn)練后，AccNet網(wǎng)絡(luò)的激活函數(shù)和權(quán)重相結(jié)合自動(dòng)定義了新的splatting、blurring和slicing操作；

步驟602，使用新的splatting、blurring和slicing操作合成任意高維卷積的最優(yōu)加速算法。