[發(fā)明專利]用于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)壓縮

在審

• 申請(qǐng)?zhí)枺?/td>: 202010192465.7
• 申請(qǐng)日: 2020-03-18
• 公開（公告）號(hào): CN111708511A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計(jì)）人: D·R·加西亞·加西亞
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): G06F5/01
• 分類號(hào): G06F5/01;G06F7/556;G06F17/16;G06N3/08
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 劉愛平

1.一種處理器，包括：

一個(gè)或更多個(gè)算術(shù)邏輯單位(ALU)，配置為：

確定第一集合值的每個(gè)值內(nèi)的第一公共值；

確定所述第一集合值的一個(gè)或更多個(gè)子集值的每個(gè)值內(nèi)的第二公共值；以及

存儲(chǔ)對(duì)應(yīng)于所述第一和第二公共值與所述一個(gè)或更多個(gè)子集值中的每個(gè)值之間的數(shù)學(xué)關(guān)系的第三值，其中所述第三值比所述第一和第二公共值需要更少的存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的處理器，其中所述第一集合值是來自浮點(diǎn)數(shù)的矩陣中的非重疊圖塊的均勻網(wǎng)格。

3.根據(jù)權(quán)利要求2所述的處理器，其中所述一個(gè)或更多個(gè)子集值中的每個(gè)子集是來自所述第一集合值中的非重疊圖塊的較小均勻網(wǎng)格。

4.根據(jù)權(quán)利要求1所述的處理器，其中所述第一公共值是從所述第一集合值的壓縮集確定的，以及所述第二公共值是從所述一個(gè)或更多個(gè)子集值的第二壓縮集確定的。

5.根據(jù)權(quán)利要求4所述的處理器，其中所述第三值包括用于所述處理器解壓縮所述第一集合值的所述壓縮集的信息。

6.根據(jù)權(quán)利要求1所述的處理器，其中對(duì)應(yīng)于所述第一和第二公共值與所述一個(gè)或更多個(gè)子集值內(nèi)的每個(gè)值之間的數(shù)學(xué)關(guān)系的所述第三值存儲(chǔ)在存儲(chǔ)設(shè)備中，而無需存儲(chǔ)所述第二公共值。

7.根據(jù)權(quán)利要求6所述的處理器，其中所述第三值作為不超過預(yù)定的位數(shù)的無符號(hào)整數(shù)存儲(chǔ)在所述存儲(chǔ)設(shè)備中。

8.一種方法，包括：

確定第一集合值的每個(gè)值內(nèi)的第一公共值；

確定所述第一集合值的一個(gè)或更多個(gè)子集值的每個(gè)值內(nèi)的第二公共值；以及

存儲(chǔ)對(duì)應(yīng)于如何確定所述第一和第二公共值與所述一個(gè)或更多個(gè)子集值中的每個(gè)值之間的數(shù)學(xué)關(guān)系的指示的第三值，其中所述第三值比所述第一和第二公共值需要更少的存儲(chǔ)。

9.根據(jù)權(quán)利要求8所述的方法，其中所述第一公共值是從所述第一集合值的壓縮集確定的，以及所述第二公共值是從所述一個(gè)或更多個(gè)子集值的第二壓縮集確定的，其中所述第三值與所述第一集合值的所述壓縮集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

10.根據(jù)權(quán)利要求8所述的方法，其中所述指示是所述第二公共值與所述第一公共值之間的差值。

11.根據(jù)權(quán)利要求8所述的方法，其中所述第一集合值是浮點(diǎn)數(shù)矩陣的元素的數(shù)據(jù)集，其中所述浮點(diǎn)數(shù)中的每個(gè)浮點(diǎn)數(shù)的位表示指數(shù)值。

12.根據(jù)權(quán)利要求11所述的方法，其中確定所述第一公共值進(jìn)一步包括確定所述第一集合值共有的第一最大指數(shù)值。

13.根據(jù)權(quán)利要求12所述的方法，其中在確定所述第一最大指數(shù)值之后，所述方法還包括：通過確定所述一個(gè)或更多個(gè)子集值共有的第二最大指數(shù)值來確定所述第二公共值。

14.一種機(jī)器可讀介質(zhì)，其上存儲(chǔ)有指令集，所述指令集如果由一個(gè)或更多個(gè)處理器執(zhí)行，使所述一個(gè)或更多個(gè)處理器至少：

計(jì)算第一集合值的每個(gè)值內(nèi)的第一公共值；

計(jì)算所述第一集合值的一個(gè)或更多個(gè)子集值的每個(gè)值內(nèi)的第二公共值；以及

存儲(chǔ)對(duì)應(yīng)于所述第一和第二公共值與所述一個(gè)或更多個(gè)子集值內(nèi)的每個(gè)值之間的數(shù)學(xué)關(guān)系的第三值，其中所述第三值比所述第一和第二公共值需要更少的存儲(chǔ)。

15.根據(jù)權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其中存儲(chǔ)所述第一公共值，而不存儲(chǔ)所述第二公共值。

16.根據(jù)權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其中所述第三值為所述第一公共值與所述第二公共值之間的差值。