[發(fā)明專利]深度壓縮網絡

在審

• 申請?zhí)枺?/td>: 201910289925.5
• 申請日: 2019-04-11
• 公開（公告）號: CN110472724A
• 公開（公告）日: 2019-11-19
• 發(fā)明（設計）人: S·巴格索克希;M·索托德
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 31100 上海專利商標事務所有限公司
• 代理人: 黃嵩泉;錢慰民<國際申請>=<國際公布>

1.一種電子處理系統(tǒng)，包括：

處理器；

存儲器，通信地耦合到所述處理器；以及

決策網絡，通信地耦合到所述處理器和所述存儲器，所述決策網絡包括邏輯，用于：

將低秩分解應用于所述決策網絡的權重矩陣以確定第一權重矩陣近似，

將所述第一權重矩陣近似整形為第二權重矩陣近似，以及

基于所述第二權重矩陣近似來壓縮所述決策網絡。

2.如權利要求1所述的系統(tǒng)，其特征在于，所述邏輯進一步用于：

將所述第一權重矩陣近似整形為所述第二權重矩陣近似，以將非線性度添加到所述第二權重矩陣近似。

3.如權利要求2所述的系統(tǒng)，其特征在于，所述邏輯進一步用于：

將數據從所述第一權重矩陣近似分散到所述第二權重矩陣近似中。

4.如權利要求2所述的系統(tǒng)，其特征在于，所述邏輯進一步用于：

將所述數據的布局從所述第一權重矩陣近似改變?yōu)樗龅诙嘀鼐仃嚱啤?/p>

5.如權利要求4所述的系統(tǒng)，其特征在于，所述邏輯進一步用于：

以行為主順序從所述第一權重矩陣近似中讀取數據；以及

以列為主順序將數據寫入所述第二權重矩陣近似。

6.如權利要求1至5中任一項所述的系統(tǒng)，其特征在于，所述決策網絡包括卷積神經網絡、深度神經網絡和遞歸神經網絡中的一個或多個。

7.一種半導體封裝設備，包括：

一個或多個襯底；以及

邏輯，耦合到所述一個或多個襯底，其中所述邏輯至少部分地在可配置邏輯和固定功能硬件邏輯中的一個或多個中實現，耦合到一個或多個襯底的所述邏輯用于：

將低秩分解應用于決策網絡的權重矩陣以確定第一權重矩陣近似，將所述第一權重矩陣近似整形為第二權重矩陣近似，

基于所述第二權重矩陣近似來壓縮所述決策網絡。

8.如權利要求7所述的設備，其特征在于，所述邏輯進一步用于：

將所述第一權重矩陣近似整形為所述第二權重矩陣近似，以將非線性度添加到所述第二權重矩陣近似。

9.如權利要求8所述的設備，其特征在于，所述邏輯進一步用于：

將數據從所述第一權重矩陣近似分散到所述第二權重矩陣近似中。

10.如權利要求8所述的設備，其特征在于，所述邏輯進一步用于：

將所述數據的布局從所述第一權重矩陣近似改變?yōu)樗龅诙嘀鼐仃嚱啤?/p>

11.如權利要求10所述的設備，其特征在于，所述邏輯進一步用于：

以行為主順序從所述第一權重矩陣近似中讀取數據；以及

以列為主順序將數據寫入所述第二權重矩陣近似。

12.如權利要求7至11中任一項所述的設備，其特征在于，所述決策網絡包括卷積神經網絡、深度神經網絡和遞歸神經網絡中的一個或多個。

13.如權利要求7至12中的任一項所述的設備，其特征在于，耦合到所述一個或多個襯底的所述邏輯包括位于所述一個或多個襯底內的晶體管溝道區(qū)。

14.一種壓縮權重矩陣的方法，包括：

將低秩分解應用于決策網絡的權重矩陣以確定第一權重矩陣近似；

將所述第一權重矩陣近似整形為第二權重矩陣近似；以及

基于所述第二權重矩陣近似來壓縮所述決策網絡。

15.如權利要求14所述的方法，進一步包括：

將所述第一權重矩陣近似整形為所述第二權重矩陣近似，以將非線性度添加到所述第二權重矩陣近似。