[發(fā)明專利]基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法

有效

• 申請?zhí)枺?/td>: 201711319853.1
• 申請日: 2017-12-12
• 公開（公告）號: CN107944556B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計）人: 徐增林;李廣西;葉錦棉;陳迪
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

1.一種基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，包括以下步驟：

A、獲取用于圖像分類的深度神經(jīng)網(wǎng)絡(luò)框架；

B、將深度神經(jīng)網(wǎng)絡(luò)的全連接層中的權(quán)重矩陣W和輸入向量x分別轉(zhuǎn)化為高階張量W和高階張量X；

C、對步驟B中的高階張量W進行塊項張量分解處理；具體為：對高階張量W的維度進行重新排列，使得行維度和列維度對應(yīng)的輸入和輸出以成對形式耦合排列，再將高階張量W分解為若干個塔克分解的和；

D、根據(jù)步驟B中的高階張量X和步驟C中塊項張量分解后的高階張量W將深度神經(jīng)網(wǎng)絡(luò)的全連接層替換為塊項張量層；具體為：將高階張量X和塊項張量分解后的高階張量W相乘，替換深度神經(jīng)網(wǎng)絡(luò)的全連接層為塊項張量層；

E、采用后向傳播算法對小型終端中替換后的深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集上進行訓(xùn)練。

2.如權(quán)利要求1所述的基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟B中將深度神經(jīng)網(wǎng)絡(luò)的全連接層中的權(quán)重矩陣W轉(zhuǎn)化為高階張量W具體為：將權(quán)重矩陣W的行維度和列維度進行均勻分割，表示為層次分塊矩陣形式，再將分割后的權(quán)重矩陣W轉(zhuǎn)化為高階張量W。

3.如權(quán)利要求1或2所述的基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟B中將深度神經(jīng)網(wǎng)絡(luò)的全連接層中的輸入向量x轉(zhuǎn)化為高階張量X具體為：將輸入向量x的維度表示為張量形式，再轉(zhuǎn)化為高階張量X。

4.如權(quán)利要求3所述的基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述高階張量W進行塊項張量分解后的維度與高階張量X的維度相等。

5.如權(quán)利要求4所述的基于塊項張量分解的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述塊項張量層將節(jié)點作為權(quán)重，邊作為數(shù)據(jù)及其維度大小。