[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的壓縮裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810766922.1
• 申請(qǐng)日: 2018-07-11
• 公開（公告）號(hào): CN109063835B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 周文罡;周爭(zhēng)光;李厚強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

1.一種神經(jīng)網(wǎng)絡(luò)的壓縮裝置，其中，包括：

因子矢量確定單元，分別確定用于對(duì)神經(jīng)網(wǎng)絡(luò)中每一層的濾波器和濾波器形狀進(jìn)行衰減的第一因子矢量和第二因子矢量，其中，第一因子矢量和第二因子矢量是包含多個(gè)衰減因子的向量，其中第一因子矢量包含的衰減因子取值為1或α，第二因子矢量包含的衰減因子取值為1或β，α和β均大于0且小于1；

衰減單元，用于根據(jù)所述第一因子矢量與第二因子矢量分別對(duì)所述濾波器和濾波器形狀進(jìn)行衰減；

剪枝單元，用于對(duì)衰減后的濾波器和濾波器形狀進(jìn)行剪枝，確定壓縮后的神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)的壓縮裝置，其中，還包括：

更新單元，用于通過反向傳播算法更新所述濾波器的權(quán)重，并將第l層第i個(gè)更新后的濾波器記作將第l層更新后的濾波器形狀記作其中，i≥0，1≤l≤L，L為濾波器的層數(shù)。

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)的壓縮裝置，其中，所述衰減單元根據(jù)所述第一因子矢量與第二因子矢量分別對(duì)所述濾波器和濾波器形狀進(jìn)行衰減，具體包括：

將與第一因子矢量中的第i個(gè)衰減因子相乘，確定一次衰減后的濾波器其中，N為每一層的濾波器的個(gè)數(shù)；

重復(fù)濾波器的更新和衰減，以實(shí)現(xiàn)多次迭代，每次迭代包括一次更新和一次衰減，直至神經(jīng)網(wǎng)絡(luò)收斂；

將與第二因子矢量Z^l進(jìn)行運(yùn)算，確定一次衰減后的濾波器形狀K^l，其中，tile是TensorFlow中的一個(gè)函數(shù)，⊙表示對(duì)應(yīng)元素間的相乘操作；

重復(fù)濾波器形狀的更新和衰減，以實(shí)現(xiàn)多次迭代，每次迭代包括一次更新和一次衰減，直至神經(jīng)網(wǎng)絡(luò)收斂。

4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)的壓縮裝置，其中，剪枝單元對(duì)衰減后的濾波器和濾波器形狀進(jìn)行剪枝，具體包括：

將該神經(jīng)網(wǎng)絡(luò)的衰減后的濾波器在變形成二維矩陣形式的卷積核中以列的形式進(jìn)行剪枝；

將該神經(jīng)網(wǎng)絡(luò)的衰減后的濾波器形狀在變形成二維矩陣形式的卷積核中以行的形式進(jìn)行剪枝。

5.一種神經(jīng)網(wǎng)絡(luò)的壓縮方法，其中，包括：

分別確定用于對(duì)神經(jīng)網(wǎng)絡(luò)中每一層的濾波器和濾波器形狀進(jìn)行衰減的第一因子矢量和第二因子矢量，其中，第一因子矢量和第二因子矢量是包含多個(gè)衰減因子的向量，其中第一因子矢量包含的衰減因子取值為1或α，第二因子矢量包含的衰減因子取值為1或β，α和β均大于0且小于1；

根據(jù)所述第一因子矢量與第二因子矢量分別對(duì)所述濾波器和濾波器形狀進(jìn)行衰減；

對(duì)衰減后的濾波器和濾波器形狀進(jìn)行剪枝，確定壓縮后的神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)的壓縮方法，其中，還包括：

通過反向傳播算法更新所述濾波器的權(quán)重，并將第l層第i個(gè)更新后的濾波器記作將第l層更新后的濾波器形狀記作其中，i≥0，1≤l≤L，L為濾波器的層數(shù)。

7.根據(jù)權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)的壓縮方法，其中，根據(jù)所述第一因子矢量與第二因子矢量分別對(duì)所述濾波器和濾波器形狀進(jìn)行衰減，具體包括：

將與第一因子矢量中的第i個(gè)衰減因子相乘，確定一次衰減后的濾波器其中，N為每一層濾波器的個(gè)數(shù)；

重復(fù)濾波器的更新和衰減，以實(shí)現(xiàn)多次迭代，每次迭代包括一次更新和一次衰減，直至神經(jīng)網(wǎng)絡(luò)收斂；

將與第二因子矢量Z^l進(jìn)行運(yùn)算，確定一次衰減后的濾波器形狀K^l，其中，tile是TensorFlow中的一個(gè)函數(shù)，⊙表示對(duì)應(yīng)元素間的相乘操作；

重復(fù)濾波器形狀的更新和衰減，以實(shí)現(xiàn)多次迭代，每次迭代包括一次更新和一次衰減，直至神經(jīng)網(wǎng)絡(luò)收斂。

8.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)的壓縮方法，其中，對(duì)衰減后的濾波器和濾波器形狀進(jìn)行剪枝，具體包括：

將該神經(jīng)網(wǎng)絡(luò)的衰減后的濾波器在變形成二維矩陣形式的卷積核中以列的形式進(jìn)行剪枝；

將該神經(jīng)網(wǎng)絡(luò)的衰減后的濾波器形狀在變形成二維矩陣形式的卷積核中以行的形式進(jìn)行剪枝。