[發(fā)明專利]一種基于跡范數(shù)約束的神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法

在審

• 申請?zhí)枺?/td>: 201710947769.8
• 申請日: 2017-10-12
• 公開（公告）號: CN107967516A
• 公開（公告）日: 2018-04-27
• 發(fā)明（設(shè)計）人: 何明捷;張杰;山世光;陳熙霖
• 申請（專利權(quán)）人: 中科視拓（北京）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于跡范數(shù)約束的神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法，其特征在于：所述方法的整體步驟如下：

Ⅰ、首先在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中進(jìn)行神經(jīng)網(wǎng)絡(luò)的前向傳播，輸入數(shù)據(jù)逐層經(jīng)過網(wǎng)絡(luò)的各層并和各層的參數(shù)進(jìn)行運(yùn)算直到獲得最后一層的輸出值，通過判斷網(wǎng)絡(luò)輸出值與實(shí)際值之間的誤差是否小于指定閾值，來判斷神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是否收斂；

Ⅱ、通過鄰近點(diǎn)梯度下降法分離端到端訓(xùn)練時的跡范數(shù)約束和任務(wù)相關(guān)的損失函數(shù)，先進(jìn)行原任務(wù)相關(guān)的損失函數(shù)的神經(jīng)網(wǎng)絡(luò)反向傳播，通過反向傳播來計算各層參數(shù)矩陣的梯度，通過梯度下降法計算更新后的參數(shù)；

Ⅲ、對反向傳播更新后的每一層的參數(shù)矩陣做跡范數(shù)約束；

Ⅳ、將跡范數(shù)約束后的參數(shù)矩陣更新到網(wǎng)絡(luò)中；

Ⅴ、對最終的每一層的參數(shù)矩陣進(jìn)行奇異值分解，保留較大的部分奇異值和對應(yīng)的特征向量，將原參數(shù)矩陣拆分成2個較小的參數(shù)矩陣相乘，利用每一層得到的2個較小的參數(shù)矩陣對神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮重構(gòu)。

2.根據(jù)權(quán)利要求1所述的基于跡范數(shù)約束的神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法，其特征在于：所述步驟Ⅲ中的跡范數(shù)約束通過奇異值收縮來實(shí)現(xiàn)；奇異值收縮的具體過程為：對參數(shù)矩陣進(jìn)行奇異值分解，收縮每個奇異值后再將奇異值矩陣和特征向量矩陣相乘得到新的參數(shù)矩陣。