[發明專利]基于數據流架構的稀疏神經網絡的運算方法

有效

• 申請號: 202110161624.1
• 申請日: 2021-02-05
• 公開（公告）號: CN113313247B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉天雨;吳欣欣;李文明;葉笑春;范東睿
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/082
• 分類號: G06N3/082
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種基于數據流架構的稀疏神經網絡的運算方法，包括：

依據數據流處理器的結構將稀疏神經網絡的運算任務從低到高依次劃分為子任務、任務和應用三個運算層級；

確定所述運算層級中每個所述任務包含的所述子任務的個數、每個所述應用包含的所述任務的個數以及所述應用的個數，其中所述稀疏神經網絡的輸入圖像數據和權重數據至少之一是稀疏矩陣；

依據所述運算層級以及各個運算層級的個數，將所述稀疏神經網絡的輸入圖像數據和權重數據的稀疏矩陣劃分為若干數據塊；以及

基于所述運算層級以及每個運算層級對應的數據塊完成所述稀疏神經網絡的運算任務，

其中，在所述運算層級中，所述運算任務包含若干個應用，每個所述應用包含若干個任務，每個所述任務包含若干個子任務，以及其中，所述應用用于執行所述稀疏神經網絡的輸入圖像數據與部分權重數據的矩陣乘運算，所述任務用于執行所述輸入圖像數據與該任務所屬應用對應的所述部分權重數據中的部分列權重數據的矩陣乘運算，所述子任務用于執行所述輸入圖像數據中的部分行輸入圖像數據與該子任務所屬任務對應的部分列權重數據的矩陣乘運算。

2.根據權利要求1所述的方法，其中，所述任務用于執行所述輸入圖像數據與該任務所屬應用對應的所述部分權重數據中的8列權重數據的矩陣乘運算，所述子任務用于執行所述輸入圖像數據中的8行輸入圖像數據與該子任務所屬任務對應的8列權重數據的矩陣乘運算。

3.根據權利要求2所述的方法，其中，所述確定所述運算層級中每個所述任務包含的所述子任務的個數、每個所述應用包含的所述任務的個數以及所述應用的個數包括：

設置每個所述任務包含2個所述子任務；

設置每個所述應用中包含的所述任務的個數；

依據所述稀疏神經網絡中權重數據的大小以及每個所述應用包含的所述任務的個數確定所述應用的個數。

4.根據權利要求3所述的方法，其中，所述依據所述運算層級以及各個運算層級的個數，將所述稀疏神經網絡的輸入圖像數據和權重數據劃分為若干數據塊包括：

依據所述應用的個數將所述稀疏神經網絡中的權重數據劃分為若干權重數據塊；

依據每個所述應用包含的所述任務的個數將每個所述權重數據塊劃分為若干權重子數據塊，其中每個所述權重子數據塊包含8列權重數據；

將所述輸入圖像數據劃分為若干輸入圖像塊，每個所述輸入圖像數據塊包含8行輸入圖像數據。

5.根據權利要求4所述的方法，其中，所述基于所述運算層級以及每個運算層級對應的數據塊完成所述稀疏神經網絡的運算任務包括：

5-1)對于每個所述應用中包含的任一所述任務，將每個所述任務對應的所述權重子數據塊與所述輸入圖像數據進行矩陣乘法運算，直至完成所述應用中的所有所述任務；

5-2)重復上述步驟5-1)，直至完成所有所述應用。

6.根據權利要求5所述的方法，其中，所述任務包括第一子任務和第二子任務，以及其中，所述第一子任務用于執行所述任務對應的所述權重子數據塊在所述數據流處理器的計算陣列上的傳遞和復用，所述第二子任務用于執行每個所述輸入圖像數據塊在所述數據流處理器的計算陣列上的傳遞、復用、與所述任務對應的所述權重子數據塊的矩陣乘法運算以及存儲結果。

7.根據權利要求4所述的方法，還包括：

提取每個所述權重數據塊中的有效權重數據；

建立每個所述權重數據塊對應的數據索引記錄；以及

基于所述數據索引記錄以及每個所述子任務對應的數據塊完成所述稀疏神經網絡的運算任務。

8.根據權利要求7所述的方法，其中，所述建立每個權重數據塊對應的數據索引記錄包括：依據所述每個權重數據塊中每一行/列中有效權重數據的個數以及每個所述有效權重數據在所在行/列中的位置建立所述每個權重數據塊對應的索引記錄。

9.一種存儲介質，其中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現權利要求1-8中任一項所述的方法。

10.一種電子設備，包括處理器和存儲器，所述存儲器中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現權利要求1-8中任一項所述的方法。