[發明專利]深度壓縮網絡

在審

• 申請號: 201910289925.5
• 申請日: 2019-04-11
• 公開（公告）號: CN110472724A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: S·巴格索克希;M·索托德
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 31100 上海專利商標事務所有限公司
• 代理人: 黃嵩泉;錢慰民<國際申請>=<國際公布>

本文描述了深度壓縮網絡。半導體封裝設備的實施例可以包括：用于將低秩分解應用于決策網絡的權重矩陣以確定第一權重矩陣近似，將第一權重矩陣近似整形(reshape)為第二權重矩陣近似，并基于第二權重矩陣近似來壓縮決策網絡的技術。公開并要求保護其他的實施例。

技術領域

實施例總體地涉及機器學習系統。更具體地，實施例涉及深度壓縮網絡。

背景

機器學習技術可以包括神經網絡(諸如卷積神經網絡(CNN)、深度神經網絡(DNN)和遞歸神經網絡(RNN))。通常，在神經網絡的精度和經訓練的神經網絡的大小之間可能存在折衷。例如，過度壓縮神經網絡可能會降低神經網絡的有用精度。

附圖說明

通過閱讀以下的說明和所附權利要求并通過參考附圖，實施例的各種優點對于本領域技術人員就將變得顯而易見，在附圖中：

圖1是根據實施例的電子處理系統的示例的框圖；

圖2是根據實施例的半導體封裝裝置的示例的框圖；

圖3是根據實施例的壓縮權重矩陣的方法的示例的流程圖；

圖4是根據實施例的機器學習網絡的示例的框圖；

圖5A和5B是根據實施例的非線性傳遞函數的示例的示意圖；

圖6是根據實施例的用于壓縮神經網絡的處理流程的示意圖；

圖7A和7B是根據實施例的網絡層的示意圖；

圖8A和圖8B是根據實施例的網絡壓縮識別的示例的框圖；

圖9是根據實施例的處理器的示例的框圖；以及

圖10是根據實施例的系統的示例的框圖。

具體實施方式

現在轉向圖1，電子處理系統10的實施例可包括處理器11、通信地耦合到處理器11的存儲器12、以及通信地耦合到處理器11和存儲器12的決策網絡13。決策網絡13可以包括邏輯14，用于將低秩分解應用于決策網絡13的權重矩陣以確定第一權重矩陣近似，將第一權重矩陣近似整形(reshape)為第二權重矩陣近似，并基于第二權重矩陣近似來壓縮決策網絡。例如，邏輯14可以被配置為將第一權重矩陣近似整形為第二權重矩陣近似，以將非線性度添加到第二權重矩陣近似。在一些實施例中，邏輯14可以被配置為將數據從第一權重矩陣近似分散到第二權重矩陣近似中。在一些實施例中，邏輯14可以替代地或附加地被配置為將數據的布局從第一權重矩陣近似改變為第二權重矩陣近似。例如，邏輯14可以被配置為以行為主順序從第一權重矩陣近似中讀取數據，并且以列為主順序將數據寫入第二權重矩陣近似中(例如，或反之亦然)。在本文的任何實施例中，決策網絡13可以包括CNN、DNN和RNN中的一個或多個。在一些實施例中，決策網絡13/或邏輯14可以位于包括處理器11在內的各種組件中，或者與包括處理器11在內的各種組件共處一地(例如，在同一個管芯上)。

上述處理器11、存儲器12、決策網絡13、邏輯14和其他系統組件中的每一個的實施例可以以硬件、軟件或其任何合適的組合來實現。例如，硬件實現可以包括可配置邏輯(諸如例如可編程邏輯陣列(PLA)、現場可編程門陣列(FPGA)、復雜可編程邏輯器件(CPLD))，或使用電路技術(諸如例如專用集成電路(ASIC)、互補金屬氧化物半導體(CMOS)或晶體管-晶體管邏輯(TTL)技術，或其任何組合)的固定功能邏輯硬件。