[發明專利]一種用于構造高維卷積加速神經網絡的方法

在審

• 申請號: 201811533296.8
• 申請日: 2018-12-14
• 公開（公告）號: CN109740745A
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 代龍泉;張雪利;唐金輝
• 申請（專利權）人: 南京理工大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱寶慶

本發明提供了一種用于構造高維卷積加速神經網絡的方法，包括：將現在流行的高斯卷積加速操作SBS解釋為神經網絡的卷積層操作；擴展張量分解(CP分解)到g_CP分解提供相應的g?卷積；進一步擴展g_CP層到級聯的g_CP層作為g_HT分解，提高網絡的表現力；選擇激活函數g，并計算g和sum函數的梯度，通過反向傳播算法對AccNet進行訓練；在訓練有素的AccNet上提取splatting、blurring和slicing操作，構成任意高維卷積的最優加速算法。

技術領域

本發明涉及一種高維卷積技術，特別是一種用于構造高維卷積加速神經網絡的方法。

背景技術

高維卷積廣泛應用于各種學科，如視覺匹配中用級聯卷積表示廣義拉普拉斯距離、全連接的CRFs推論中采用了高維高斯卷積進行有效的信息傳遞、將雙邊濾波器轉換為維度升高的高維空間中的卷積，等等。但由于高維卷積的計算復雜度較高，存在嚴重的性能問題，所以在過去的幾十年里，人們采用了手工的方法為高斯卷積設計快速算法，但最近對各種非高斯卷積的需求已經出現，爭議性也越來越大，而且原來的手工加速方法是一項耗時費力的工作，已經不再適用于多種不同類型的卷積。

當前最流行的高斯模糊加速算法Splatting-Blurring-Slicing(SBS)歸功于數據縮減和可分離內核，首先像素被“Splatting”(下采樣)到網格上以減小數據大小，然后對網格頂點進行“Blurring”(模糊)操作，最后通過“Slicing”(上采樣)產生每個像素的濾波值。由于可分離的模糊內核，在這些頂點上執行的d-D高斯模糊可以視為若干可分離的1-D濾波器的總和，因此一個d-D卷積(1)的計算復雜度從O(r^d)減少到了O(rd)，又因為splatting之后濾波窗口變得很小，計算復雜度可粗略地視為與半徑r無關的O(d)，但是該算法不能逼近非高斯卷積而且對于如何改善逼近誤差沒有理論依據。

現在流行的雙邊網格和全自顯晶體格加速方法都屬于SBS流程，我們的方法是將SBS重新設計為一個加速神經網絡AccNet，是目前首個通過神經網絡對高維卷積進行加速的方法，有以下幾個優勢：1、為基于SBS的加速算法提供了統一的視角；2、卷積層權重與激活函數g一起定義了splatting、blurring和slicing卷積，所以可以輕松地從訓練有素的網格中獲得新的splatting、blurring和slicing卷積，以實現任意的卷積。這種能力賦予我們的網絡以端到端的特征；3、AccNet可以在訓練中保證最小的逼近誤差。

發明內容

本發明的目的在于提供一種用于構造高維卷積加速神經網絡的方法，包括以下步驟：

步驟1；輸入待加速的高維卷積；

步驟2，構造加速神經網絡AccNet的輸入；

步驟3，將CP分解擴展到gCP分解并提供相應的g-卷積，構成加速神經網絡AccNet；

步驟4，擴展gCP分解到級聯gCP分解；

步驟5，計算函數sum和激活函數g的梯度并對網絡進行訓練；

步驟6，從訓練有素的AccNet中提取高維卷積的加速算法。

本發明與現有技術相比，具有以下優點：(1)為基于SBS(Splatting-Blurring-Slicing)流程的加速算法提供了統一的視角；(2)加速網絡的卷積層權重與激活函數g一起定義了splatting、blurring和slicing操作，所以可以輕松地從訓練有素的加速神經網絡中獲得新的splatting、blurring和slicing操作，以實現任意的卷積。這種能力賦予我們的網絡以端到端的特征；而且本專利是高維卷積加速領域首例神經網絡加速方式；(3)加速神經網絡(AccNet)可以在訓練中保證最小的逼近誤差。