[發明專利]神經網絡計算的方法、電子設備、計算機可讀介質

在審

• 申請號: 202011491589.1
• 申請日: 2020-12-17
• 公開（公告）號: CN114648086A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 吳臻志;金羅軍
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;柴亮

本公開提供了一種神經網絡計算的方法，其包括：將權重矩陣分為多組，將各組中的非零權重分別存儲在對應的內存片中；其中，權重矩陣為神經元的連接權重矩陣；每個組包括權重矩陣的多個連續列；內存片與組一一對應，其中存儲有非零權重的值和位置；重復進行以下乘法操作：將各內存片中當前行的非零權重分別輸入至解壓器，解壓器在各組的當前行中無非零權重的位置補充零權重得到各組的還原當前行，并將各還原當前行分別輸入至對應的乘法器陣列；將輸入數據中對應當前行的數據分別輸入至各乘法器陣列；將每次乘法操作中各乘法器陣列輸出的乘法結果累加，以計算輸出數據。本公開還提供一種電子設備、計算機可讀介質。

技術領域

本公開涉及神經網絡技術領域，特別涉及一種神經網絡計算的方法、電子設備、計算機可讀介質。

背景技術

在神經網絡的使用過程中，權重矩陣的計算占據了很大的計算量。例如，在基于LIF(Leaky Integrity-and-Fire，線性積分放電)模型的脈沖神經網絡中，權重矩陣的突觸積分計算是主要的負載。

由此，權重矩陣的計算需要占據較大的內存空間、訪問帶寬、計算資源等，導致其計算開銷較大。

發明內容

本公開提供一種神經網絡計算的方法、電子設備、計算機可讀介質。

第一方面，本公開實施例提供一種神經網絡計算的方法，其包括：

將權重矩陣分為多組，將各組中的非零權重分別存儲在對應的內存片中；其中，權重矩陣為神經元的連接權重矩陣；每個組包括權重矩陣的多個連續列；內存片與組一一對應，其中存儲有非零權重的值和位置；

重復進行以下乘法操作：將各內存片中當前行的非零權重分別輸入至解壓器，解壓器在各組的當前行中無非零權重的位置補充零權重得到各組的還原當前行，并將各還原當前行分別輸入至對應的乘法器陣列；將輸入數據中對應當前行的數據分別輸入至各乘法器陣列；

將每次乘法操作中各乘法器陣列輸出的乘法結果累加，以計算輸出數據。

在一些實施例中，所述神經網絡為脈沖神經網絡，所述權重矩陣為突觸連接權重矩陣。

在一些實施例中，在所述將權重矩陣分為多組前，還包括：

將權重矩陣中部分列的位置互換；

和/或，

將權重矩陣中部分行的位置互換。

在一些實施例中，所述權重矩陣的稀疏度大于或等于50％。

在一些實施例中，任意兩個組間稀疏度的差別不超過10％。

在一些實施例中，任意組的列數相同。

在一些實施例中，所述非零權重的位置為非零權重在其所在組中的偏移。

在一些實施例中，至少部分所述乘法器陣列為復用乘法器陣列；

每個所述復用乘法器陣列中乘法器的個數小于其對應的組的列數，并通過其中至少部分乘法器的分時復用實現復用乘法器陣列。

在一些實施例中，所述將每次乘法操作中各乘法器陣列輸出的乘法結果累加包括：將每次乘法操作中各乘法器陣列輸出的乘法結果分別輸入至對應的累加器，累加器將所述乘法結果累加。

在一些實施例中，所述將各內存片中當前行的非零權重分別輸入至解壓器包括：

各內存緩沖區分別從對應的內存片獲取非零權重，并根據獲取的非零權重的位置確定當前行中的非零權重，將當前行中的非零權重輸入至解壓器。

在一些實施例中，所述乘法操作還包括：