[發明專利]一種基于卷積核相似性剪枝的循環神經網絡模型壓縮方法

在審

• 申請號: 201911355879.0
• 申請日: 2019-12-25
• 公開（公告）號: CN111126602A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 王曰海;李忻瑤;奚永新;楊建義
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于卷積核相似性剪枝的循環神經網絡模型壓縮方法，屬于計算機電子信息技術領域，該方法包括，將預訓練循環神經網絡模型載入壓縮循環神經網絡中進行訓練，得到權重矩陣初始化的循環神經網絡模型；計算循環神經網絡模型中每個卷積核的L2范數并排序，選取范數修剪率范圍內的卷積核進行剪枝；計算剪枝后的預訓練循環神經網絡模型的卷積核的權值中心，選取相似性修剪率P2范圍內的卷積核進行修剪后對卷積核對應的權重矩陣進行梯度更新，對更新后的權重矩陣中的參數進行剪枝，得到壓縮后的循環神經網絡模型。本發明提供的循環神經網絡模型壓縮方法，在降低剪枝過程中的精確度損失的同時，有效地壓縮大型循環神經網絡模型。

技術領域

本發明涉及計算機及電子信息技術領域，具體涉及一種基于卷積核相似性剪枝的循環神經網絡模型壓縮方法。

背景技術

循環神經網絡(RNN)具有處理順序數據的能力，大大提高了語音識別、自然語言處理和機器翻譯準確性，然而，循環神經網絡的效果提升是以高計算復雜性為代價的，對于具有有限計算資源的嵌入式移動設備來說要求過高。因而，循環神經網絡模型的推廣部署受到了推理性能、功耗和內存要求的限制。

智能手機，平板電腦和筆記本電腦等所有普及設備具有有限的內存和計算資源，很難處理大型復雜的RNN模型。然而，在移動端直接應用深度學習網絡，基本要求之一是模型推理要小而快，小可以使得整個應用的存儲空間減小，而快可以提高應用的實時性，要求模型推理速度在可接受范圍內，同時也可以使應用在一些低配設備上具有更好的效果。

模型壓縮是一個蓬勃發展的領域，通過對模型的網絡結構或者權重表示方式進行簡化，減少深度學習模型的計算量和內存需求，在盡量少精確度損失的前提下，解決普及設備上由于有限的內存和計算資源，很難處理大型復雜的RNN模型的問題。

現有的卷積神經網絡壓縮與加速的方法大致分為三種：剪枝，量化和低秩分解；常用的剪枝方法是指通過一定的規則修剪網絡中不重要的權重，主要分為非結構化剪枝和結構化剪枝兩種；其中，非結構化剪枝是指獨立修剪權重，對精度影響較小；非結構化剪枝在推理預測時是硬件不友好的，容易造成硬件設備的損傷；而結構化稀疏剪枝方法提出了內部稀疏結構，剪枝的同時將循環單元內所有基礎結構的尺寸減小一個，從而始終保持尺寸一致性，減小模型尺寸，加快推理速度，但由于結構化稀疏剪枝方法的稀疏結構非常粗糙，因此很難在不降低精度的情況下推出高稀疏性。

大多數剪枝方法是基于不同的規則，加入正則約束，在反向傳播的過程中約束參數，進行稀疏；在設計剪枝規則時，現有的剪枝策略大多是基于范數剪枝及其變體，更多考慮的是卷積核的重要性，理想地認為范數分布較為規則，標準差足夠大，沒有更多考慮卷積核之間的相似性，造成剪枝過程中的精確度損失較大。

發明內容

本發明提供了一種基于卷積核相似性剪枝的循環神經網絡模型壓縮方法，該方法在剪枝過程中同時考慮了卷積核的范數重要性標準與卷積核間的相似性標準，為每個卷積核設置一個掩膜矩陣，根據所述的范數重要性標準與積核間的相似性標準設置掩膜矩陣的值，使得參數可選擇地參與到網絡計算中，同時不改變網絡的本質內容，使得參數可以在可能的需要時被恢復，網絡修剪也更為可控。

一種基于卷積核相似性剪枝的循環神經網絡模型壓縮方法，包括：

步驟1、將預訓練循環神經網絡模型載入壓縮循環神經網絡中進行訓練，設置預訓練循環神經網絡模型的參數與壓縮循環神經網絡中的參數一致，得到權重矩陣初始化的循環神經網絡模型。

所述的參數為數據集、配置參數、范數修剪率P1及相似性修剪率P2。

步驟2、計算循環神經網絡模型中每個卷積核的L2范數并根據L2范數對卷積核進行排序，選取范數修剪率P1范圍內的卷積核進行剪枝，得到剪枝后的循環神經網絡模型。

所述的選取范數修剪率P1范圍內的卷積核的計算公式為公式(1)所示：