[發明專利]一種深度神經網絡的通用小型化方法

在審

• 申請號: 201711097406.6
• 申請日: 2017-11-09
• 公開（公告）號: CN107748913A
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 董健;張明;黃龍;王禹
• 申請（專利權）人: 睿魔智能科技（東莞）有限公司;杭州靈凡科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 羅曉林,楊桂洋

技術領域

本發明屬于深度學習技術領域，具體地說是一種深度神經網絡的通知小型化方法。

背景技術

近幾年來，深度學習的迅猛發展，使得計算機視覺、自然語言處理等一系列領域的算法性能都有了跨越式的進展。深度學習算法在學術界已經普遍應用，但在工業界卻還沒得到非常廣泛的應用，其中一個原因就是深度學習網絡的模型龐大、計算量巨大，一個卷積神經網絡的權重文件動輒數百兆，在科研環境下可以借助龐大的GPU集群提高訓練速度、減少運行時間，但要放到實際產品中，數百兆的容量是無法接受的。目前智能手機的性能已經非常優越，但是在app中塞入上百兆的權重也是一個很糟糕的選擇；另一方面，在一些嵌入式的平臺上，存儲計算資源都十分有限，深度學習算法的移植更加困難。所以深度學習模型的壓縮，是非常重要的一個問題。

現有的神經網絡壓縮方法主要包括：

1. 淺層網絡：即使用較淺的神經網絡，雖然該方法可以大幅度降低模型復雜度和計算量，但和深度網絡相比，性能也大幅度下降。

2. 剪枝網絡：對網絡進行剪裁，以及一些不攜帶有效信息的權重進行過濾，使用裁剪后的參數再重新對網絡訓練。

3. 緊湊網絡：設計更緊湊的網絡結構，其實就是減少每層網絡的參數，但使用該方法即使有大批量訓練數據的情況下，當模型小到一定程度時，也會帶來性能的下降。

4. 對參數進行離散化：比如定點化就是一種方案，將浮點型數據轉變成整型后進行計算，極限情況比如二值化，就是對已經訓練好的網絡進行二值化，減少前向計算的時間。

發明內容

本發明要解決的技術問題是提供一種深度神經網絡的通用小型化方法，有效降低存儲空間，簡化網絡的同時仍保有良好的穩定性和有效性，廣泛應用于部署在嵌入式和移動計算平臺上的深度神經網絡模型。

為了解決上述技術問題，本發明采取以下技術方案：

一種深度神經網絡的通用小型化方法，包括以下步驟：

對初始的深度神經網絡進行特征重構，形成一個新的小型網絡；

對深度神經網絡的特征通道數和組卷積數進行壓縮處理，減少輸出的特征通道數和組卷積的個數。

所述特征重構時，采用特征分層方式進行重構，設定一個預定壓縮比，分別對深度神經網絡的底層特征和高層特征進行重構。

所述重構時，先對深度神經網絡的底層特征進行重構，完成底層特征的重構后，再對深度神經網絡的高層特征進行重構。

所述對底層特征和高層特征進行重構時，均采用回歸的方法分別使重構前后深度神經網絡的輸出結果的歐氏距離最小。

所述對深度神經網絡的特征通道數和組卷積數進行壓縮處理時，采用帶因子的分離通道的方式，卷積構造N/a1個b*b*a2的組卷積進行卷積操作，a1≤a2。

本發明通過分兩層處理，對底層特征和高層特征進行重構，實現對大型復雜的深度神經網絡的壓縮，形成新的小型網絡，有效降低存儲空間。在簡化網絡的同時仍然保持良好的穩定性和有效性。網絡計算量減小和運行存儲空間減小，運行速度得到加快。該小型化方法有高通用性，廣泛應用于部署在嵌入式和移動計算平臺上的深度神經網絡模型。

附圖說明

附圖1為本發明中卷積壓縮處理的實施例示意圖。

具體實施方式

為能進一步了解本發明的特征、技術手段以及所達到的具體目的、功能，下面結合附圖與具體實施方式對本發明作進一步詳細描述。

本發明揭示了一種深度神經網絡的通用小型化方法，該方法能夠廣泛應用于部署在嵌入式和移動計算平臺上的深度神經網絡模型，具體包括以下步驟：

對初始的深度神經網絡進行特征重構，形成一個新的小型網絡。對初始的大型復雜網絡進行重構，利用重構的方法對深度神經網絡進行壓縮處理，從而能夠有效的簡化原來的深度神經網絡。

對深度神經網絡的特征通道數和組卷積數進行壓縮處理，減少輸出的特征通道數和組卷積的個數。達到在降低運行存儲空間的同時保持計算量甚至降低計算量的目的。

此外，所述特征重構時，采用特征分層方式進行重構，設定一個預定壓縮比，分別對深度神經網絡的底層特征和高層特征進行重構。而且，需要有序定向的進行特征重構。先對深度神經網絡的底層特征進行重構，完成底層特征的重構后，再對深度神經網絡的高層特征進行重構。從而實現分層處理的方式，分成兩步對底層特征和高層特征進行重構處理，而且兩者所采用的策略完全相同，確保形成的新的小型網絡的有效性，降低訓練難度。通過重構，大幅壓縮深度神經網絡，減小其所占的容量。