[發明專利]基于網絡權重初始和最終狀態差異的冗余權重去除方法

在審

• 申請號: 201711385134.X
• 申請日: 2017-12-20
• 公開（公告）號: CN108090564A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 胡永健;黎李強;劉琲貝;鄭浩聰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 向玉芳;曾令安

本發明公開了基于網絡權重初始和最終狀態差異的冗余權重去除方法。該方法先分別對每層網絡權重的初始狀態和最終狀態進行直方圖統計，并進行曲線擬合；根據每層網絡權重的初始狀態和最終狀態直方圖的差異情況，確定網絡剪枝區間；將位于網絡剪枝區間內的網絡權重去除后，對所得到的網絡模型進行再訓練；與原有網絡準確度相比，若再訓練后的網絡模型達不到預設標準，則進一步按權值變化幅度大小篩選網絡權重。與現有技術相比，本發明通過分析網絡權重的初始狀態和最終狀態直方圖差異可有效解決網絡剪枝閾值的選取問題，本發明以權值變化幅度大小的方式優化網絡權重，可進一步去除網絡冗余權重。

技術領域

本發明涉及模式識別和人工智能技術領域，具體涉及深度神經網絡的加速與壓縮方面。

背景技術

近年來，深度神經網絡(Deep Neural Network,DNN)在計算機視覺、語音識別以及自然語言處理等多個領域取得卓越成效，并得到廣泛應用。研究表明，DNN在特征提取方面具有出色的表現，網絡層越深，其網絡的表征能力越強。然而，由于網絡層數的加深需要更多計算能力和存儲資源的開銷，因此難以在存儲和計算資源有限的硬件設備上進行部署，尤其是移動設備。

網絡模型參數包括網絡權重和偏置，目前使用的訓練方法所得到的網絡模型通常包含大量冗余的參數。如何有效地解決DNN網絡參數的冗余問題，至今已有不少的研究，主要可以分為三類：第一類是使用網絡權重的量化值或者近似值替代原有權重的方法，第二類是變換網絡結構方法，如使用全局平均池化的網絡層來替換全連接層以減少神經網絡的參數數量，第三類是網絡剪枝方法。

LeCun等人于1990年在Advances in Neural Information Processing Systems會議上發表的論文《Optimal brain damage》和Hassibi等人于1993年在PortugueseConference on Artificial Intelligence會議上發表的《Second order derivativesfor network pruning:Optimal brain surgeon》，均提出通過使用二階導數或者Hessian矩陣的信息來權衡網絡的復雜度和訓練集的誤差，然而，隨著網絡的大型化和復雜化，難以計算每一個參數在Hessian矩陣中二階導數。

1997年，Castellano等人在期刊IEEE Transactions on Neural Networks發表論文《An iterative pruning algorithm for feedforward neural networks》中提出了一種迭代剪枝方法，該方法選擇對所有模式輸出能量最小的隱節點作為刪除節點。引人關注的是，2015年，Han等人在Advances in Neural Information Processing Systems會議上發表論文《Learning both weights and connections for efficient neural network》中提出了根據網絡中層與層神經元間連接的重要性決定是否去除神經元間的連接，并保證原有網絡性能幾乎不下降。然而，關于網絡剪枝閾值的確定和重要連接參數的選取問題，Han等人沒有給出有效的解決方法。

發明內容

本發明的目的在于克服現有網絡剪枝方法在剪枝閾值的確定和重要連接權重的選取方面的不足，提出了一種新的有效網絡剪枝閾值的確定和重要連接權重的選取的方法。

本發明基于網絡權重初始和最終狀態差異的冗余權重去除方法是一種基于網絡權重的初始狀態和最終狀態差異的重要網絡連接權重的選取和冗余權重的去除方法。

本發明的目的通過下述技術方案實現：

基于網絡權重初始和最終狀態差異的冗余權重去除方法，包括如下步驟：