[發明專利]基于數據流架構的稀疏神經網絡的運算方法

有效

• 申請號: 202110161624.1
• 申請日: 2021-02-05
• 公開（公告）號: CN113313247B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉天雨;吳欣欣;李文明;葉笑春;范東睿
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/082
• 分類號: G06N3/082
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供了一種基于數據流架構的稀疏神經網絡的運算方法，包括：依據數據流處理器的結構將稀疏神經網絡的運算任務從低到高依次劃分為子任務、任務和應用三個運算層級；確定所述運算層級中每個所述任務包含的所述子任務的個數、每個所述應用包含的所述任務的個數以及所述應用的個數，其中所述稀疏神經網絡的輸入圖像數據和權重數據至少之一是稀疏矩陣；依據所述運算層級以及各個運算層級的個數，將所述稀疏神經網絡的輸入圖像數據或權重數據劃分為若干數據塊；以及基于所述運算層級以及每個運算層級對應的數據塊完成所述稀疏神經網絡的運算任務。

技術領域

本發明涉及機器學習技術領域，尤其涉及基于數據流架構的稀疏神經?網絡的加速方法。

背景技術

近年來，為了使神經網絡在車載設備、手機等資源受限的環境中推廣?和使用，往往通過剪枝(Pruning)將神經網絡中冗余的、信息量少的連接?進行剪除，以達到壓縮神經網絡存儲空間的目的。然而，對已被剪枝處理?過的神經網絡進行計算時，通常需要先將被壓縮的神經網絡數據層解壓為?稀疏矩陣再進行乘加運算。因此，雖然剪枝后神經網絡權重大量減少，但?計算并沒有相應地減少，反而存在著大量的以零為乘數或被加數的無效計算。另一方面，現有的神經網絡計算采用控制流架構的傳統馮諾依曼計算?機，數據訪存開銷較大，限制了神經網絡的計算運行速度。

因此，亟需一種基于數據流架構的稀疏神經網絡的加速方法。

發明內容

因此，本發明實施例的目的在于克服上述現有技術的缺陷，提供一種?基于數據流架構的稀疏神經網絡的運算方法，包括：依據數據流處理器的?結構將稀疏神經網絡的運算任務從低到高依次劃分為子任務、任務和應用?三個運算層級；確定所述運算層級中每個所述任務包含的所述子任務的個?數、每個所述應用包含的所述任務的個數以及所述應用的個數，其中所述?稀疏神經網絡的輸入圖像數據和權重數據至少之一是稀疏矩陣；依據所述運算層級以及各個運算層級的個數，將所述稀疏神經網絡的輸入圖像數據?或權重數據的稀疏矩陣劃分為若干數據塊；以及基于所述運算層級以及每?個運算層級對應的數據塊完成所述稀疏神經網絡的運算任務。

在一個實施例中，在所述運算層級中，所述運算任務包含若干個應用，?每個所述應用包含若干個任務，每個所述任務包含若干個子任務，以及其?中，所述應用用于執行所述稀疏神經網絡的輸入圖像數據與部分權重數據?的矩陣乘運算，所述任務用于執行所述輸入圖像數據與該任務所屬應用對?應的所述部分權重數據中的8列權重數據的矩陣乘運算，所述子任務用于?執行所述輸入圖像數據中的8行輸入圖像數據與該子任務所屬任務對應的?8列權重數據的矩陣乘運算。

在一個實施例中，所述確定所述運算層級中每個所述任務包含的所述?子任務的個數、每個所述應用包含的所述任務的個數以及所述應用的個數?包括：設置每個所述任務包含2個所述子任務；設置每個所述應用中包含?的所述任務的個數；依據所述稀疏神經網絡中權重數據的大小以及每個所?述應用包含的所述任務的個數確定所述應用的個數。

在一個實施例中，所述依據所述運算層級以及各個運算層級的個數，?將所述稀疏神經網絡的輸入圖像數據和權重數據劃分為若干數據塊包括：?依據所述應用的個數將所述稀疏神經網絡中的權重數據劃分為若干權重?數據塊；依據每個所述應用包含的所述任務的個數將每個所述權重數據塊?劃分為若干權重子數據塊，其中每個所述權重子數據塊包含8列權重數據；?將所述輸入圖像數據劃分為若干輸入圖像塊，每個所述輸入圖像數據塊包?含8行輸入圖像數據。

在一個實施例中，所述基于所述運算層級以及每個運算層級對應的數?據塊完成所述稀疏神經網絡的運算任務包括：對于每個所述應用中包含的?任一所述任務，將每個所述任務對應的所述權重子數據塊與所述輸入圖像?數據進行矩陣乘法運算，直至完成所述應用中的所有所述任務；重復上述?步驟，直至完成所有所述應用。