[發明專利]機器學習網絡模型壓縮

在審

• 申請號: 201980083312.4
• 申請日: 2019-07-05
• 公開（公告）號: CN113196306A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 朱佳峰;魏巍;陳建樂;王煒;沈潔
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 蔡維華;臧建明

第一方面涉及用于執行模型壓縮的計算機實現的方法。該方法包括：壓縮包括多層結構的機器學習(ML)網絡模型以產生壓縮的ML網絡模型。該壓縮的ML網絡模型保持ML網絡模型的多層結構。該方法生成壓縮的ML網絡模型的模型文件。該模型文件包括壓縮的ML網絡模型和用于使ML網絡模型能夠被逐層解壓縮并執行的解碼信息。

相關申請的交叉引用

本專利申請要求由朱佳峰等人于2019年1月9日提交的申請號為62/790,387、名稱為“深度神經網絡(DNN)模型壓縮格式，逐層解碼緩沖比特”的美國臨時專利申請的優先權，其通過引用結合在本申請中。

技術領域

本公開一般涉及人工神經元網絡，并且更具體地涉及機器學習網絡模型壓縮。

背景技術

人工神經網絡(artificial neural network,ANN)是基于生物神經網絡的結構和功能的計算模型。流經網絡的信息會影響ANN的結構，因為神經網絡會基于輸入和輸出進行更改(或在某種意義上進行學習)。ANN被認為是非線性統計數據建模工具，其中對輸入和輸出之間的復雜關系進行建模或使用機器學習算法找到模式。這樣的系統可以通過考慮示例來“學習”執行任務，通常無需使用任何特定于任務的規則進行編程。

卷積神經網絡是前饋ANN的一種。卷積神經網絡可以包括神經元集合，每個神經元具有接收場并共同平鋪輸入空間。接收場可以只包括輸入體積的局部區域，例如神經網絡將在其中處理高維輸入的區域，而輸入層中的每個神經元實際上都無法鏈接到所有輸入并接收所有輸入?；蛘?，接收場可以包括到所有可用輸入的鏈接。卷積神經網絡(convolutional neural network,CNN)有很多應用。特別是，CNN已廣泛用于模式識別和分類領域。

深度學習架構，例如深度信念網絡(deep belief network,DBN)、深度卷積網絡(deep convolutional network,DCN)和深度神經網絡(deep neural network,DNN)，是分層神經網絡架構，其中第一層神經元的輸出成為第二層神經元的輸入，第二層神經元的輸出成為第三層神經元的輸入，依此類推。因此，可以將深度神經網絡定義為在輸入層和輸出層之間具有多個中間層的神經網絡。

發明內容

本公開適用于人工神經網絡，例如包括多層神經元的深度神經網絡(DNN)。經過訓練以執行特定任務的DNN被稱為模型。例如，DNN模型可用于圖像識別、語音到文本的轉換或語言翻譯。這些模型的大小往往非常大，可能需要大量的存儲器和/或處理能力才能執行。因此，諸如電話、平板電腦、物聯網(Internet of Things,IoT)設備或其他電子設備之類的有限資源設備通常不包括足夠的處理能力和存儲器以能夠存儲和執行神經網絡模型。為了解決該問題，本公開提供了用于執行模型壓縮和解壓縮以使得有限資源設備能夠存儲和執行神經網絡模型的各種實施例。

第一方面涉及用于執行模型壓縮的計算機實現的方法。該方法包括：壓縮包括多層結構的機器學習(ML)網絡模型以產生壓縮的ML網絡模型。該壓縮的ML網絡模型保持ML網絡模型的多層結構。該方法生成壓縮的ML網絡模型的模型文件。該模型文件包括壓縮的ML網絡模型和用于使ML網絡模型能夠被逐層解壓縮并執行的解碼信息。

在根據第一方面的計算機實現的方法的第一實現形式中，解碼信息存儲于模型文件的通用報頭中。在第一實現形式的實現中，模型文件還包括序列化報頭。在第一實現形式的另一實現中，通用報頭是模型文件的前八個字節。在第一實現形式的另一實現中，通用報頭提供版本、總報頭長度、編碼類型、框架類型和序列化類型。