[發明專利]半數字交叉式架構的稀疏神經網絡層的優化

在審

• 申請號: 202011189121.7
• 申請日: 2020-10-30
• 公開（公告）號: CN112749787A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: R.哈徹;T.拉克什特;D.帕萊;洪俊顧;J.基特爾
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 梁棟國

本發明涉及半數字交叉式架構的稀疏神經網絡層的優化。提供了一種方法和系統。該方法包括將二元矩陣映射到無向圖形式，對映射的二元矩陣應用二路圖分區算法，其使映射的二元矩陣中的分區之間的邊切割最小化，遞歸應用貪婪算法以找到行或列排列的集合，其使非零從稀疏塊到非稀疏塊的轉移的最大化，并根據所應用的貪婪算法稀疏或致密二元矩陣。

相關申請的交叉引用

本申請要求優先于2019年10月31日在美國專利商標局提交的并被分配序列號62/929,000的美國臨時專利申請的優先權，其全部內容通過引用合并于此。

技術領域

本公開總體上涉及一種排列(permute)稀疏矩陣以使得子塊被稀疏(或致密)的方法和裝置。

背景技術

對用于機器學習(machine learning，ML)應用的硬件加速器的需求不斷增長。在許多這些ML應用中占主導地位的計算是矩陣向量乘法。修剪方法已被證明能夠稀疏層，從而產生很大部分的零值元素。已經開發出用于全數字架構的稀疏向量矩陣乘法技術，提高了推理操作的能力/性能。對于非稀疏矩陣，可以通過交叉式網絡(crossbar network)在模擬中非常有效地執行矩陣向量乘法。然而，對于已被修剪的網絡，在這些模擬或半模擬交叉式網絡中通常不會像在全數字設計中那樣實現節能，因為與陣列加電相關的開銷招致的開銷并未顯著減少，即使很大一部分權重為零。為了節能，可以將零值元素局部相關。

發明內容

在一個實施例中，一種方法包括：將二元矩陣映射到無向圖形式；對映射的二元矩陣應用二路圖分區算法，其使映射的二元矩陣中的分區之間的邊切割最小化；遞歸應用貪婪算法以找到行或列排列的集合，其使非零從稀疏塊到非稀疏塊的轉移最大化，并根據所應用的貪婪算法稀疏或致密二元矩陣。

在一個實施例中，一種系統包括存儲器和處理器，處理器被配置為將二元矩陣映射到無向圖形式，對映射的二元矩陣應用二路圖分區算法，其使映射的二元矩陣中的分區之間的邊切割最小化，遞歸應用貪婪算法以找到行或列排列的集合，其使非零從稀疏塊到非稀疏塊的轉移最大化，并根據所應用的貪婪算法稀疏或致密二元矩陣。

附圖說明

根據結合附圖進行的以下詳細描述，本公開的某些實施例的上述和其他方面、特征和優點將變得更加明顯，其中：

圖1示出了根據實施例的用于排列稀疏矩陣的流程圖；

圖2示出了根據實施例的稀疏矩陣的圖；

圖3示出了根據實施例的塊稀疏度與稀疏矩陣中的塊的數量的關系的圖；以及

圖4是根據實施例的網絡環境中的電子設備的框圖。

具體實施方式

在下文中，參考附圖詳細描述本公開的實施例。應當注意，相同的元件將由相同的附圖標記標示，盡管它們在不同的附圖中示出。在下面的描述中，僅提供諸如詳細配置和組件的特定細節以幫助全面理解本公開的實施例。因此，對于本領域技術人員而言顯而易見的是，在不脫離本公開的范圍的情況下，可以對本文所述的實施例進行各種改變和修改。另外，為了清楚和簡潔，省略了對公知功能和構造的描述。下面描述的術語是考慮到本公開中的功能而定義的術語，并且可以根據用戶、用戶的意圖或習慣而不同。因此，應基于整個說明書中的內容確定術語的定義。

本公開可以具有各種修改和各種實施例，下面參考附圖詳細描述其中的實施例。然而，應當理解，本公開不限于這些實施例，而是包括在本公開的范圍內的所有修改、等同物和替代物。

盡管可以使用包括諸如第一、第二等序數的術語來描述各種元件，但是結構元件不受該術語的限制。這些術語僅用于區分一個元件和另一個元件。例如，在不脫離本公開的范圍的情況下，第一結構元件可以被稱為第二結構元件。類似地，第二結構元件也可以被稱為第一結構元件。如本文所使用的，術語“和/或”包括一個或多個相關項目的任何和所有組合。