[發明專利]用于神經網絡的數據壓縮

在審

• 申請號: 202010192465.7
• 申請日: 2020-03-18
• 公開（公告）號: CN111708511A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: D·R·加西亞·加西亞
• 申請（專利權）人: 輝達公司
• 主分類號: G06F5/01
• 分類號: G06F5/01;G06F7/556;G06F17/16;G06N3/08
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 劉愛平

本申請提供了一種用于神經網絡的數據壓縮。用于生成數據集的代表值的系統和方法，通過首先壓縮數據集中的一部分值來確定第一公共值以及進一步壓縮這一部分值的子集來確定第二公共值。代表值是通過取第一公共值和第二公共值之間的差生成的，其中代表值對應于第一和第二公共值與該一部分值的子集內的每個值之間的數學關系。相比于第一和第二公共值，代表值需要更少的存儲。

背景技術

在存儲壓縮數據以實現所需存儲度量時，能夠壓縮和解壓縮數據以及進一步減少位數會涉及存在各種技術挑戰。與確定壓縮數據元素的壓縮數值表示以及進一步存儲這些壓縮數值表示(通常由大量位表示)相關的算法可能會超過或以其他方式壓倒與存儲設備關聯的存儲容量。而且，由于這些數值表示的大小，與訓練神經網絡相關的計算成本也會受到影響。此外，在給定帶寬限制和/或計算環境中的限制的情況下，需要大量位的數值表示通常會導致與在設備內或不同設備之間傳輸數據相關的復雜問題。

附圖說明

參考附圖來對各種技術進行描述，其中：

圖1根據實施例說明了計算環境，在其中執行了塊浮點(Block Floating Point，BFP)編碼器以生成一個或更多個壓縮數值表示；

圖2根據實施例說明了包括由指數、符號和尾數表示的值的集合(例如，根據塊浮點格式)的矩陣的圖以及另一個包括由指數、壓縮數值表示、符號和尾數表示的值的集合(根據具有壓縮數值表示的塊浮點格式)的矩陣的圖；

圖3根據實施例說明了示例性的矩陣、子矩陣(或塊)、塊的子矩陣(或四元組)和標量的圖；

圖4根據實施例說明了在其中確定塊和四元組(quad)的公共指數值的圖；

圖5根據實施例說明了在其中確定與塊中和四元組中的值之間的數學關系相對應的壓縮數值表示(或指示符)的圖；

圖6根據實施例顯示了用于生成與數據集中的指數值之間的數學關系相對應的壓縮數值表示(或指示符)的過程的說明性示例；

圖7根據實施例顯示了用于生成與數據集中的指數值之間的數學關系相對應的壓縮數值表示(或指示符)的過程的另一說明性示例；

圖8根據實施例說明了并行處理單元(“PPU”)的示例；

圖9根據實施例說明了通用處理集群(“GPC”)的示例；

圖10根據實施例說明了存儲器分區單元的示例；

圖11根據實施例說明了流式多處理器的示例；以及

圖12根據實施例說明了在其中可以實現各種實施例的計算機系統。

具體實施方式

在一個實施例中，根據本公開實現的系統和方法用于在數據集中生成壓縮數值表示，該壓縮數值表示同時非常適合表示深度神經網絡中的激活、權值和梯度，并同時可以在硬件中有效地實現。特別地，在一個實施例中，壓縮數值表示適合矩陣乘法的有效實現，因為這些乘法主要構成了訓練神經網絡的計算成本的大部分。在一個實施例中，壓縮數值表示包括整數或其他數值，但在某些實施例中，它包括值的指示符、確定該值的指示符和/或確定值的數學關系的指示符。

也就是說，在一個實施例中，根據本公開實現的系統和方法用于在多步驟過程中壓縮數據集，其中對于數據集中的每個元素，通過找到可以存儲一次而不是多次的值來首先對整個數據集進行壓縮。在一個實施例中，然后，以相同的方式對數據集的各個子集進行壓縮，以找到(對于每個子集)第二值，然后不存儲該第二值，而是存儲如何從第一值到第二值獲得的指示符。該指示符通常比第二值本身占用更少的空間(更少的位)，因此是一種更有效的存儲數據集的值的方法。