[發明專利]多線程脈動陣列

在審

• 申請號: 201780095094.7
• 申請日: 2017-09-21
• 公開（公告）號: CN111149090A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 塔爾·霍洛維茨;烏里·韋澤;吳祖光;羅會斌;約尼·喬克倫
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/38;G06N3/063
• 代理公司: 暫無信息
• 代理人: 暫無信息

提供了一種多線程脈動陣列300，包括：多個處理元件302，分別包括處理器308，其中，每個處理元件302用于：從相應的第一輸入源304接收多個第一輸入，從相應的第二輸入源306接收多個第二輸入，其中，多個第一輸入和多個第二輸入布置為與多個線程相對應的多對；為處理器的每個操作周期調度多個線程中的線程；對該線程執行計算操作。

背景技術

本發明在其一些實施例中涉及矩陣乘法，更具體但非排他地，涉及用于一個或多個矩陣的乘法的系統和方法。

矩陣和向量乘法是各種處理方法中使用的基本運算，例如，用于進行神經網絡推導和/或訓練神經網絡。目前正尋求計算高效的系統和/或方法，從而使用合理數量的計算資源(即，存儲器和/或處理硬件)在合理的時間內快速執行矩陣乘法。例如，神經網絡硬件加速器需要具有高數據吞吐量和高效的能耗，才能基于大量不同的輸入對不同的神經網絡進行處理。

發明內容

本發明的目的在于提供一種多線程脈動陣列，以及用于操作該多線程脈動陣列的裝置、方法、計算機程序產品和系統。

通過獨立權利要求的特征實現前述和其他目的。進一步的實施形式在從屬權利要求、具體說明和附圖中顯而易見。

根據第一方面，一種多線程脈動陣列包括：多個處理元件，分別包括處理器，其中，每個所述處理元件用于：從相應的第一輸入源接收多個第一輸入，從相應的第二輸入源接收多個第二輸入，其中，所述多個第一輸入和所述多個第二輸入布置為與多個線程相對應的多對，為所述處理器的每個操作周期調度所述多個線程中的線程，對所述線程執行計算操作。

根據第二方面，一種操作多線程脈動陣列的方法包括：針對所述多線程脈動陣列的多個處理元件中的每個處理元件，執行：從相應的第一輸入源接收多個第一輸入，從相應的第二輸入源接收多個第二輸入，其中，所述多個第一輸入和所述多個第二輸入布置為與多個線程相對應的多對，為每個操作周期調度所述多個線程中的線程，對所述線程執行計算操作。

當輸入數據表現出例如如現實生活中的神經網絡所表現出的高權重稀疏性和/或高輸入稀疏性時，與其他實現(例如，單線程脈動陣列)相比，多線程脈動陣列提高了處理元件的利用率。

不同于一次只處理一個矩陣運算(例如，如單線程脈動陣列實現所執行的)，多線程脈動陣列的計算資源還用于其他矩陣運算，而不是對當前矩陣運算執行無意義的運算，從而提高了計算效率。

與神經網絡處理系統的其他實現相比，例如，在數據吞吐量和/或能耗效率的提高方面，將多線程脈動陣列納入神經網絡處理系統中提高了基于大量的不同輸入執行多個不同的神經網絡的效率。

在第一和第二方面的另一實施形式中，所述多個處理元件布置為二維陣列，從而將第一處理元件的多個第一輸出作為多個第一輸入提供給第二相鄰處理元件，將所述第一處理元件的多個第二輸出作為多個第二輸入提供給第三相鄰處理元件。

在第一和第二方面的另一實施形式中，根據所述線程的可用非影響值執行所述調度，其中，所述非影響值為不會顯著影響所述處理器計算的值的輸入值。

在第一和第二方面的另一實施形式中，所述處理器用于：當相應線程的值中的至少一個是非影響值時，并行執行針對所述線程的所述計算操作和針對其他線程中的每個相應線程的跳過操作；或者，當相應線程的值中的至少一個是影響值時，并行執行針對所述線程的所述計算操作和針對其他線程中的每個相應線程的停頓操作。

通過并行處理，多線程脈動陣列的計算性能得以提高，這是因為并行執行兩個或更多線程所花費的時間大約是各線程依次執行(例如，由單線程脈動陣列實現執行)時所需時間的一半或更短。

在第一和第二方面的另一實施形式中，所述計算操作由計算組件執行，所述跳過操作由移動路徑組件執行，所述停頓操作由停頓組件執行，其中，所述計算組件的所述計算操作的執行獨立于所述移動路徑組件的所述跳過操作和所述停頓組件的所述停頓操作。