[發明專利]一種基于跡范數約束的神經網絡的加速與壓縮方法

在審

• 申請號: 201710947769.8
• 申請日: 2017-10-12
• 公開（公告）號: CN107967516A
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 何明捷;張杰;山世光;陳熙霖
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種加速與壓縮方法，尤其涉及一種基于跡范數約束的神經網 絡的加速與壓縮方法，屬于神經網絡技術領域。

背景技術

神經網絡，是一種由人工神經元組成的前饋網絡，神經網絡由多種類型的 層，包括卷積層、全連接層、池化層、激活層等組成。輸入數據在通過各個層 時和各層的參數進行運算從而獲得神經網絡的輸出。神經網絡在目標檢測、圖 像分類、語義分割、特征點定位等眾多計算機視覺任務上有著廣泛的應用。當 神經網絡擁有數以萬計的神經元連接時，會造成神經網絡參數的物理存儲要求 很高，同時網絡的運算量很大，難以滿足在實際應用場景中的實時性要求，限 制了神經網絡在移動設備等存儲、計算資源受限的設備上的應用。

目前針對神經網絡的加速和壓縮方案主要致力于在模型訓練完成后對原模 型進行近似，以減小參數數量和計算量，從而達到加速和壓縮的目的，例如， 已有專利文獻對神經網絡模型各層的參數采用近似方法進行簡化，從而減少各 層計算量的方法。但是由于這類方法是在模型訓練完成后對訓練好的模型進行 近似，能夠到達的近似精度有限，因此這類方法會使得模型的性能下降。此 外，也有人提出了通過對卷積核采用頻域分解的方法進行近似簡化，減少神經 網絡中模型卷積層計算量的方法。但這類方法只設計了針對卷積層的加速和壓 縮方法，對神經網絡中的其它層的通用性有限，并且丟掉低頻信息也會帶來比 較大的精度損失。

上述方法雖然能夠在一定程度上起到加速和壓縮的作用，但是適用范圍有 限，并且都是對已訓練好的模型進行被動壓縮，沒有從訓練階段考慮模型的被 壓縮能力，降低被壓縮后的精度損失。為了充分提高模型的壓縮率，減少壓縮 后模型準確率的下降，滿足實際應用中對降低存儲空間和提高處理速度的需 求，需要針對神經網絡設計合理的訓練階段的加速和壓縮方案。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種基于跡范數約束 的神經網絡的加速與壓縮方法。

為了解決以上技術問題，本發明采用的技術方案是：一種基于跡范數約束 的神經網絡的加速與壓縮方法，其整體步驟如下：

Ⅰ、首先在神經網絡的訓練過程中進行神經網絡的前向傳播，輸入數據逐 層經過網絡的各層并和各層的參數進行運算直到獲得最后一層的輸出值，通過 判斷網絡輸出值與實際值之間的誤差是否小于指定閾值，來判斷神經網絡的訓 練是否收斂；

Ⅱ、通過鄰近點梯度下降法分離端到端訓練時的跡范數約束和任務相關的 損失函數，先進行原任務相關的損失函數的神經網絡反向傳播，通過反向傳播 來計算各層參數矩陣的梯度，通過梯度下降法計算更新后的參數；

Ⅲ、對反向傳播更新后的每一層的參數矩陣做跡范數約束；

Ⅳ、將跡范數約束后的參數矩陣更新到網絡中；

Ⅴ、對最終的每一層的參數矩陣進行奇異值分解，保留較大的部分奇異值 和對應的特征向量，將原參數矩陣拆分成2個較小的參數矩陣相乘，利用每一 層得到的2個較小的參數矩陣對神經網絡進行壓縮重構。以卷積層和全連接層 為例，對于卷積層，將原參數矩陣壓縮成2個較小的參數矩陣相乘之后，將這2 個矩陣分別構建一個新的卷積層，其中第一個卷積層的卷積核的尺寸和通道數 與原來的卷積層的卷積核相同，新的卷積核的數量和保留的奇異值個數相同； 第二個卷積層的卷積核的長寬都為1，通道數和保留的奇異值個數相同，卷積 核的數量和原卷積層卷積核的數量相同；對于全連接層，將原參數矩陣拆分成2個較小的參數矩陣相乘之后，將這2個矩陣分別各構建成一個新的全連接層， 其中第一個全連接層的輸入維度和原有全連接層相同，輸出維度和保留的奇異 值個數相同，第二個全連接層的輸入維度和保留的奇異值個數相同，輸出維度 和原全連接層的輸出維度相同。

其中，步驟Ⅲ中的跡范數約束通過奇異值收縮來實現；奇異值收縮的具體 過程為：對參數矩陣進行奇異值分解，收縮每個奇異值后再將奇異值矩陣和特 征向量矩陣相乘得到新的參數矩陣。

本發明通過在模型訓練階段提高模型參數的低秩特性，取得了良好的加速 和壓縮效果，可以滿足實際應用中對降低存儲空間和提高處理速度的需求。本 發明與傳統的加速和壓縮方法相比，具有以下優勢：

1)適用性廣泛：適合于神經網絡中任何有參數的層，不局限于特點類型 的層；

2)高壓縮率和加速比：在訓練階段主動提高參數矩陣的低秩特性，參數 矩陣的低秩特性優于無低秩約束的已有方法，從而能到達更高的壓縮率和加速 比；