[發明專利]基于高帶寬存儲器的神經網絡計算裝置和方法

有效

• 申請號: 201611221798.8
• 申請日: 2016-12-26
• 公開（公告）號: CN108241484B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 陳天石;李韋;郭崎;陳云霽
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06F7/575
• 分類號: G06F7/575;G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本公開提供了一種基于高帶寬存儲器的神經網絡計算裝置和方法，神經網絡計算裝置包括至少一個高帶寬存儲器，每個高帶寬存儲器包括堆疊式累加的多個存儲器，神經網絡處理器，與高帶寬存儲器電性連接，神經網絡處理器與高帶寬存儲器之間進行數據交換，并執行神經網絡計算。本公開可以極大地提高存儲帶寬，高寬帶存儲器作為神經網絡計算裝置的內存，能更快的在緩存器與內存之間進行輸入數據和運算參數的數據交換，使得IO時間大大縮短；由于高寬帶存儲器是堆疊式結構，不占用橫向的平面空間，可以大幅降低神經網絡計算裝置的面積，神經網絡計算裝置的面積可以縮小至現有技術的大約5％；降低了神經網絡計算裝置的功耗。

技術領域

本公開涉及神經網絡計算領域，尤其是一種基于高帶寬存儲器的神經網絡計算裝置和方法。

背景技術

目前人工智能領域正在飛速發展，機器學習也在影響著人們生活的方方面面。作為機器學習領域一個重要組成部分，神經網絡方面的研究也是工業界和學術界同時關注的熱點。由于神經網絡計算中龐大的數據量，如何處理神經網絡算法執行成為需要我們解決的重要問題。因此專用的神經網絡計算裝置應運而生。

目前階段神經網絡計算裝置的架構中使用的動態隨機存取存儲區DRAM的類型大多為GDDR4或GDDR5。然而在神經網絡計算裝置中，由于需要考慮帶寬，性能，功耗和面積方面的問題，GDDR4或GDDR5已經不能完全滿足神經網絡計算裝置的需要，技術發展也已進入了瓶頸期。每秒增加1GB的帶寬將會帶來更多的功耗，這不論對于設計人員還是消費者來說都不是一個明智、高效或合算的選擇。同時，GDDR4或GDDR5還存在著難以縮小面積的嚴重問題。因此，GDDR4或GDDR5將會漸漸阻礙神經網絡計算裝置性能的持續增長。

公開內容

(一)要解決的技術問題

有鑒于此，本公開的主要目的在于提供一種神經網絡計算裝置和方法，用于解決上面提出的神經網絡計算裝置所面臨的帶寬、能耗、面積等方面的瓶頸。

(二)技術方案

根據本公開的一個方面，提供了一種基于高帶寬存儲器的神經網絡計算裝置，包括：至少一個高帶寬存儲器，每個高帶寬存儲器包括堆疊式累加的多個存儲器；神經網絡處理器，與所述高帶寬存儲器電性連接，所述神經網絡處理器與高帶寬存儲器之間進行數據交換，并執行神經網絡計算。

在本公開的一些實施例中，所述神經網絡處理器包括：存儲接口、HBM內存控制模塊、緩存器、緩沖控制模塊、神經處理單元；所述高帶寬存儲器與緩存器之間通過所述存儲接口和HBM內存控制模塊交換數據，所述HBM內存控制模塊對所述高帶寬存儲器和緩存器進行時鐘同步和位寬匹配；所述緩存器通過所述緩沖控制模塊與神經處理單元交換數據，所述神經處理單元進行神經網絡計算。

在本公開的一些實施例中，所述存儲接口將所述高帶寬存儲器的數據傳輸至所述HBM內存控制模塊，以及將所述HBM內存控制模塊的數據傳輸至所述高帶寬存儲器；所述HBM內存控制模塊同步所述高帶寬存儲器和緩存器的時鐘，將所述存儲接口傳輸的數據帶寬轉換為與所述緩存器相匹配的帶寬，并將帶寬匹配的數據傳輸至所述緩存器；將所述緩存器的數據帶寬轉換為與所述高帶寬存儲器相匹配的帶寬，并將所述帶寬匹配的數據傳輸至所述存儲接口。

在本公開的一些實施例中，所述神經網絡處理器還包括：控制單元，用于向所述HBM內存控制模塊、緩存器、緩沖控制模塊和神經處理單元發送控制指令，實現神經網絡處理器的計算功能。

在本公開的一些實施例中，還包括：封裝基板，用于承載高帶寬存儲器；所述堆疊式累加的多個存儲器為沿垂直于封裝基板方向堆疊式累加的多個存儲器。

在本公開的一些實施例中，還包括：中介層和邏輯芯片；所述中介層形成于所述封裝基板上，所述邏輯芯片和神經網絡處理器形成于所述中介層上，所述高帶寬存儲器形成于邏輯芯片上。