[發明專利]卷積神經網絡剪枝、推理方法、設備以及計算機可讀介質

在審

• 申請號: 202010148557.5
• 申請日: 2020-03-05
• 公開（公告）號: CN113361702A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 涂小兵;薛盛可;李春強;尚云海;勞懋元;張偉豐
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N5/04
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 陳貞健;邵棟

本申請實施例提供了一種卷積神經網絡剪枝及推理方案，該方案可以確定卷積神經網絡模型中第i層卷積層中各組卷積核的顯著性度量值，然后對第i層卷積層中顯著性度量值最小的至少一組卷積核進行剪枝處理，并基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核。由于所述顯著性度量值表示所述卷積核對所述卷積神經網絡模型獲得正確結果的影響程度，將顯著性度量值最小的卷積核以及下一層關聯的卷積核剪除之后，可以在對所述卷積神經網絡模型識別結果影響較小的情況下，減少卷積層在推理時的計算量，同時由于方案僅涉及軟件層面上的改進，因此可以減少對硬件資源的需求，降低硬件資源的限制對于卷積神經網絡性能的影響。

技術領域

本申請涉及信息技術領域，尤其涉及一種卷積神經網絡剪枝、推理方法、設備以及計算機可讀介質。

背景技術

近年來，深度學習在人工智能的應用中，包括計算機視覺、語音識別、自然語言處理方面，取得了巨大成功。其中，卷積神經網絡(Convolution NeuralNetwork，CNN)是其中具有代表性的一種算法，它在計算機視覺、語音識別、自然語言處理等領域都有應用，特別是在計算機視覺方面，得益于網絡結構的不斷加深，卷積神經網絡具有較為深入的應用。但是與此同時，不斷加深的網絡結構，也使得網絡模型的訓練和處理所需的計算資源也不斷增加。由于目前缺少能夠在軟件面上減少卷積神經網絡資源開銷的方案，使得卷積神經網絡需要有高成本的硬件支持，極大的限制了卷積神經網絡的應用場景，阻礙了卷積神經網絡在硬件資源有限的環境下的使用。

申請內容

本申請的一個目的是提供一種卷積神經網絡剪枝方案以及基于該卷積神經網絡的推理方案，用以解決卷積神經網絡對計算資源需求較高的問題。

本申請實施例提供了一種卷積神經網絡剪枝方法，該方法包括：

確定卷積神經網絡模型中第i層卷積層中各組卷積核的顯著性度量值，其中，所述顯著性度量值表示所述卷積核對所述卷積神經網絡模型獲得正確結果的影響程度，i為正整數；

對第i層卷積層中顯著性度量值最小的至少一組卷積核進行剪枝處理；

基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核。

本申請實施例提供了一種基于卷積神經網絡的推理方法，該方法包括：

獲取卷積神經網絡模型，所述卷積神經網絡模型為所述的卷積神經網絡剪枝方法進行剪枝處理并重新訓練后的卷積神經網絡模型；

利用所述卷積神經網絡模型對輸入數據進行推理，獲得輸出數據。

本申請實施例還提供了一種卷積神經網絡剪枝設備，該設備包括：

計算處理模塊，用于確定卷積神經網絡模型中第i層卷積層中各組卷積核的顯著性度量值，其中，所述顯著性度量值表示所述卷積核對所述卷積神經網絡模型獲得正確結果的影響程度，i為正整數；

剪枝處理模塊，用于對第i層卷積層中顯著性度量值最小的至少一組卷積核進行剪枝處理，以及基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核。

本申請實施例還提供了一種基于卷積神經網絡的推理設備，該方法包括：

模型獲取模塊，用于獲取卷積神經網絡模型，所述卷積神經網絡模型為由卷積神經網絡剪枝設備進行剪枝處理并重新訓練后的卷積神經網絡模型；

推理模塊，用于所述卷積神經網絡模型對輸入數據進行推理，獲得輸出數據。

本申請的一些實施例還提供了一種計算設備，其中，該設備包括用于存儲計算機程序指令的存儲器和用于執行計算機程序指令的處理器，其中，當該計算機程序指令被該處理器執行時，觸發所述設備執行前述的卷積神經網絡剪枝方法。