[發明專利]基于塊項張量分解的深度神經網絡壓縮方法

有效

• 申請號: 201711319853.1
• 申請日: 2017-12-12
• 公開（公告）號: CN107944556B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 徐增林;李廣西;葉錦棉;陳迪
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發明公開了一種基于塊項張量分解的深度神經網絡壓縮方法。其包括獲取深度神經網絡框架，將權重矩陣W和輸入向量x分別轉化為高階張量W和高階張量X，對高階張量W進行塊項張量分解處理，將深度神經網絡的全連接層替換為塊項張量層，采用后向傳播算法對步驟D中替換后的深度神經網絡進行訓練。本發明采用塊項張量分解方法來構造塊項張量層，以替換原始深度神經網絡中的全連接層，利用塊項張量層具有的“對稱”和“指數表達能力”的特性，不僅能夠大幅壓縮全連接層的參數量還能夠保持原網絡的分類精度。

技術領域

本發明屬于深度神經網絡技術領域，尤其涉及一種基于塊項張量分解的深度神經網絡壓縮方法。

背景技術

近年來，以深度神經網絡為代表的深度學習在圖像分類、語音識別、自然語言處理等人工智能領域取得了比傳統方法顯著提高的效果，進而吸引了學術界、工業界和政府的廣泛關注。然而深度神經網絡結構復雜、層數較多、參數量巨大，訓練好的模型往往占用很大的存儲空間，難以移植到小型終端上；并且時間復雜性也很高，即使在高性能圖形處理器上訓練也常常需要數天，這些都迫使我們需要壓縮深度神經網絡。

由于深度神經網絡的權重實質上就是一些高維矩陣，因此很自然的一種壓縮方法就是矩陣分解，但矩陣分解的壓縮能力太低，最多只能壓縮數十倍。所以最近興起了利用張量分解壓縮的辦法，比如“張量火車”分解方法能夠把VGG網絡中單層全連接層壓縮成千上萬倍。然而由于張量火車分解方法本身具有“不對稱”和“線性表達能力”的特性，導致了壓縮后的深度神經網絡難以獲得更高分類精度。

發明內容

本發明的發明目的是：為了解決現有技術中存在的以上問題，本發明提出了一種基于塊項張量分解的深度神經網絡壓縮方法，以期能夠在保持精度的同時獲得更高的參數量壓縮比。

本發明的技術方案是：一種基于塊項張量分解的深度神經網絡壓縮方法，包括以下步驟：

A、獲取深度神經網絡框架；

B、將深度神經網絡的全連接層中的權重矩陣W和輸入向量x分別轉化為高階張量W和高階張量X；

C、對步驟B中的高階張量W進行塊項張量分解處理；

D、根據步驟B中的高階張量X和步驟C中塊項張量分解后的高階張量W將深度神經網絡的全連接層替換為塊項張量層；

E、采用后向傳播算法對步驟D中替換后的深度神經網絡進行訓練。

進一步地，所述步驟B中將深度神經網絡的全連接層中的權重矩陣W轉化為高階張量W具體為：將權重矩陣W的行維度和列維度進行均勻分割，表示為層次分塊矩陣形式，再將分割后的權重矩陣W轉化為高階張量W。

進一步地，所述步驟B中將深度神經網絡的全連接層中的輸入向量x轉化為高階張量X具體為：將輸入向量x的維度表示為張量形式，再轉化為高階張量X。

進一步地，所述步驟C對步驟B中的高階張量W進行塊項張量分解處理具體為：對高階張量W的維度進行重新排列，使得行維度和列維度對應的輸入和輸出以成對形式耦合排列，再將高階張量W分解為若干個塔克分解的和。