[發明專利]壓縮神經網絡模型的方法、計算機系統以及存儲介質

在審

• 申請號: 202011448780.8
• 申請日: 2020-12-09
• 公開（公告）號: CN113052309A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 蔣薇;王煒;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 徐文靜;陳世華

本公開提供一種壓縮神經網絡模型的方法、計算機系統以及存儲介質。所述方法包括：對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯。從該權重系數集中識別權重系數子集。根據識別的權重系數子集，壓縮神經網絡的模型。

相關申請的交叉引用

本申請要求于2019年12月28日在美國專利商標局提交的第62/954,472號美國臨時專利申請以及2020年10月19日在美國專利和商標局提交的第17/073,602號美國專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本公開通常涉及數據處理領域，并且尤其涉及神經網絡。

背景技術

國際標準化組織(International Organization for Standardization)ISO/國際電工委員會(International Electrotechnical Commission)IEC動態圖像專家組(Moving Picture Experts Group)MPEG(JTC 1/SC 29/WG 11)一直在積極尋找未來視頻編解碼技術的標準化的潛在需求，以進行視覺分析和理解。ISO于2015年采用視覺搜索緊湊描述符(Compact Descriptors for Visual Search,CDVS)標準作為靜止圖像標準，其提取特征表示用于圖像相似性匹配。CDVS標準被列為MPEG 7和ISO/IEC 15938-15的第15部分，并且于2018年定稿，該標準提取了視頻片段的全局和局部、手動設計和基于深度神經網絡(Deep Neural Networks,DNN)的特征描述符。DNN在諸如語義分類、目標檢測/識別、目標跟蹤、視頻質量增強等大量視頻應用中的成功，提出了壓縮DNN模型的強烈需求。

發明內容

本公開實施例涉及壓縮神經網絡模型的方法、系統和計算機可讀存儲介質，可以實現顯著的壓縮神經網絡模型。

根據一個方面，提供一種用于壓縮神經網絡模型的方法。該方法可以包括對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯。從該權重系數集中識別權重系數子集。根據識別的權重系數集，壓縮神經網絡的模型。

根據另一個方面，提供一種用于壓縮神經網絡模型的計算機系統。該計算機系統可以包括至少一個處理器、至少一個計算機可讀存儲器、至少一個計算機可讀有形存儲設備，以及存儲在至少一個存儲設備中的至少一個上的程序指令，該程序指令由至少一個處理器通過至少一個存儲器來執行，由此計算機系統執行所述方法。該方法可以包括對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯。從該權重系數集中識別權重系數子集。根據識別的權重系數集，壓縮神經網絡的模型。

根據又一個方面，提供一種壓縮神經網絡模型的計算機可讀介質。該計算機可讀介質可以包括至少一個計算機可讀存儲設備以及存儲在至少一個有形存儲設備中的程序指令，該程序指令可由處理器執行。該程序指令可由處理器執行以執行一種方法，該方法包括對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯。從該權重系數集中識別權重系數子集。根據識別的權重系數集，壓縮神經網絡的模型。

通過本公開實施例提供的壓縮神經網絡模型的方法、系統和計算機可讀存儲介質，利用可量化性正則化可以提高進一步壓縮所學習的權重系數的效率，進而實現顯著壓縮神經網絡模型。

附圖說明

這些和其它目的、特征和優點將從以下結合附圖閱讀的說明性實施例的詳細描述中變得顯而易見。由于附圖是用于方便本領域技術人員結合詳細描述進行清楚的理解，因此附圖的各種特征并非按比例繪制。在附圖中：

圖1示出了根據至少一個實施例的聯網計算機環境；

圖2是根據至少一個實施例的神經網絡模型壓縮系統的框圖；

圖3示出了根據至少一個實施例的由壓縮神經網絡模型的程序所執行的步驟的操作流程圖；