[發明專利]一種神經網絡張量處理器

在審

• 申請號: 202011421828.6
• 申請日: 2020-12-08
• 公開（公告）號: CN112381220A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 羅閎訚;何日輝;周志新
• 申請（專利權）人: 廈門壹普智慧科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 何家富

本發明公開了一種神經網絡張量處理器，包括主控制器、重構控制器和數據流計算引擎；主控制器用于向外部控制單元提供所述神經網絡張量處理器的控制和狀態接口，及提供第一配置信息和第一起始信號給重構控制器；重構控制器接收第一配置信息和第一起始信號，在第一起始信號有效后，獲取外部存儲器的重構指令，并解析重構指令生成第二配置信息和第二起始信號；數據流計算引擎接收第二配置信息和第二起始信號，根據第二配置信息進行功能配置，在第二起始信號有效后，獲取外部存儲器的數據和參數以執行運算，并將計算結果寫入外部存儲器中。本發明的張量處理器適用于對神經網絡算法進行集中化計算，具備通用性和可擴展性。

技術領域

本發明涉及人工智能芯片技術領域，尤其涉及一種神經網絡張量處理器。

背景技術

處理器技術是人類科技進步的重大體現之一。然而，處理器的抽象模型卻十分簡單：(1)處理器都由存儲器、輸入/輸出接口、控制單元和計算單元組成；(2)處理器循環執行下列操作：“取指令/數據、執行指令、寫數據”；(3)處理器的行為完全由指令和數據決定。無論處理器多復雜，無論是CPU、GPU或DSP，上述模型全部適用。這個處理器抽象模型就是著名的“馮諾依曼結構”，其核心是把用于控制的程序當作數據來存儲，這種基于存儲程序的計算模型一直沿用至今，無論半導體工藝多先進，處理器結構多復雜，存儲程序型計算從未改變。

在存儲程序計算中，指令和數據是所有操作的核心，直觀地按照指令和數據來劃分，傳統計算體系結構可以分為四類：

1)SISD(單指令單數據)：最早的計算體系結構，任何時刻，只有一條指令執行，處理一個數據。

2)SIMD(單指令多數據)：一種并行計算體系，任何時刻，只有一條指令執行，處理多個數據。大多數現代處理器都擁有這類體系結構擴展(例如ARM NEON擴展指令和X86MMX/SSE擴展指令)。

3)MISD(多指令單數據)：多條指令處理一個數據，目前未被普遍使用。

4)MIMD(多指令多數據)：一種并行計算體系，多個核心(運行不同指令)處理多個數據，大多數MIMD體系實際由包含SIMD的多個核心組成。

然而，隨著數據密集型任務的出現，數據并行成為計算性能的關鍵瓶頸。SIMD架構是用于增加數據并行的直觀選擇，然而，把多個數據同步打包成一個向量數據并用一條指令執行，這極大地限制了數據并行度的發掘。

對此，英偉達提出了SIMT(單指令多線程)架構。相比于SIMD，SIMT的數據由不同線程維護，數據之間是完全異步的關系，各自完全獨立，可以實現大量異步數據的完全并行，也即線程級的數據并行。這樣的架構極大地增加了數據的并行維度。典型的，1個16核現代先進CPU通常只能同時執行16或32個線程，而一個現代先進GPU同時執行的線程數高達幾千個。

顯而易見的，在存儲程序計算中，提高計算性能就是提高指令和數據的執行性能。在過去的近50年發展歷程中，以英特爾、英偉達為代表的美國企業引領了處理器技術的重要發展。根據計算任務的特點：指令密集型或數據密集型，處理器架構也按照指令優化和數據優化兩大方向發展，并衍生出CPU、GPU兩大處理器類型。CPU是最早的處理器，其技術發展主要面向指令執行效率的優化，包括更高的頻率、更高效的指令集(RISC)、更多的指令級并行(超標量)、更多的任務級并行(超線程、多核)等。GPU是隨著數據密集型任務的增多而逐漸發展起來的處理器，其技術發展主要面向數據執行效率的優化，包括更多核心數，更多線程(SIMT)、更高效的內存結構，更高效的編程模型等。

在通用并行計算這條路上，CPU/GPU架構探索了近50年，擁有一系列復雜的“組合拳”來完成多種粒度的并行計算，從而實現最高能效比的高性能計算，軟硬件技術壁壘之高很難打破。

從一開始，計算機編程就存在兩種模型，一種模擬人類行為結果，一種模擬人類大腦。