[發(fā)明專利]深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法、裝置及計算機設備

有效

• 申請?zhí)枺?/td>: 201711092273.3
• 申請日: 2017-11-08
• 公開（公告）號: CN109754077B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設計）人: 張淵;陳偉杰;謝迪;浦世亮
• 申請（專利權）人: 杭州?？低晹?shù)字技術股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京柏杉松知識產(chǎn)權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發(fā)明實施例提供了一種深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法、裝置及計算機設備，其中，深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法包括：獲取原始深度神經(jīng)網(wǎng)絡；通過對原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，確定該網(wǎng)絡層中重要度低于預設重要度的運算單元作為待刪除運算單元；刪除原始深度神經(jīng)網(wǎng)絡中各網(wǎng)絡層的待刪除運算單元，得到網(wǎng)絡模型壓縮后的深度神經(jīng)網(wǎng)絡。通過本方案可以提高目標識別與目標檢測的效率。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，特別是涉及一種深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法、裝置及計算機設備。

背景技術

DNN(Deep Neural Network，深度神經(jīng)網(wǎng)絡)作為機器學習研究中的一個新興領域，通過模仿人腦的機制來解析數(shù)據(jù)，是一種通過建立和模擬人腦進行分析學習的智能模型，當前較為流行的DNN包括：CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡)、RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡)、LSTM(Long Short Term Memory，長短期記憶網(wǎng)絡)等。由于DNN可以通過網(wǎng)絡模型中多個網(wǎng)絡層的運算，快速、準確地對目標進行識別與檢測，已在目標檢測與分割、行為檢測與識別、語音識別等方面得到了廣泛的應用。

隨著目標識別與目標檢測技術的發(fā)展，目標特征越來越復雜，需要提取的目標特征也越來越多，這樣，使得在DNN網(wǎng)絡模型的設計中，網(wǎng)絡層以及各網(wǎng)絡層中運算單元的數(shù)量都在大幅增加，導致目標識別與目標檢測的運算復雜度增大，并且大量的網(wǎng)絡層和運算單元會消耗過多的內(nèi)存與帶寬資源，影響目標識別與目標檢測的效率。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法、裝置及計算機設備，以提高目標識別與目標檢測的效率。具體技術方案如下：

第一方面，本發(fā)明實施例提供了一種深度神經(jīng)網(wǎng)絡的網(wǎng)絡模型壓縮方法，所述方法包括：

獲取原始深度神經(jīng)網(wǎng)絡；

通過對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，確定所述網(wǎng)絡層中重要度低于預設重要度的運算單元作為待刪除運算單元；

刪除所述原始深度神經(jīng)網(wǎng)絡中各網(wǎng)絡層的待刪除運算單元，得到網(wǎng)絡模型壓縮后的深度神經(jīng)網(wǎng)絡。

可選的，所述通過對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，確定所述網(wǎng)絡層中重要度低于預設重要度的運算單元作為待刪除運算單元，包括：

提取所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的權值絕對值；

根據(jù)所述網(wǎng)絡層中各運算單元的權值絕對值，對應配置各運算單元的重要度；

基于各運算單元的重要度，確定重要度低于預設重要度的運算單元作為待刪除運算單元。

可選的，在所述通過對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，確定所述網(wǎng)絡層中重要度低于預設重要度的運算單元作為待刪除運算單元之前，所述方法還包括：

利用秩分析工具，對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層進行分析，得到滿足預設誤差容忍度的條件下，所述網(wǎng)絡層中待刪除運算單元的第一數(shù)目；

所述通過對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，確定所述網(wǎng)絡層中重要度低于預設重要度的運算單元作為待刪除運算單元，包括：

通過對所述原始深度神經(jīng)網(wǎng)絡的網(wǎng)絡層中各運算單元的重要度進行分析，得到所述網(wǎng)絡層中各運算單元的重要度；

按照所述網(wǎng)絡層中各運算單元的重要度從小到大的順序選擇所述第一數(shù)目個運算單元，并將所選擇的運算單元作為待刪除運算單元。