[發明專利]一種神經網絡maxout層計算裝置

在審

• 申請號: 202011035396.5
• 申請日: 2016-04-19
• 公開（公告）號: CN112348182A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 韓棟;郭崎;陳天石;陳云霽
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種maxout層運算裝置，用于根據maxout層運算指令執行maxout層運算，其特征在于，包括連接到存儲模塊的maxout層運算模塊，maxout層運算模塊包括：寄存器單元，用于存儲maxout層輸入數據地址，maxout層輸入數據地址為maxout層輸入數據在存儲模塊中的存儲地址；加載/存儲單元，根據maxout層運算指令對應的maxout層輸入數據地址從存儲模塊獲取相應的maxout層輸入數據；剪枝單元，對按特征優先存放的maxout層輸入數據在特征維度上進行壓縮，得到剪枝數據；以及運算單元，根據maxout層運算指令對剪枝數據執行相應運算以得到maxout層運算結果。

技術領域

本發明涉及一種神經網絡maxout層運算裝置和方法，用于根據maxout層運算指令執行maxout層運算。

背景技術

當前計算機領域有越來越多的算法涉及到maxout層運算，以人工神經網絡算法為例，多種神經網絡算法中都含有大量的maxout層運算。在神經網絡中，經常需要對于輸入數據進行剪枝，對于一個maxout層輸入數據，其數據為三維數據，分別為橫坐標、縱坐標以及特征維度的數據，maxout運算的剪枝策略為在特征維度上壓縮數據，即f_j＝max({f_i|a_j≤i≤b_j})，其中f_i為一個點對應的特征維度上的各個值，a_j和b_j標定出在該特征維度上選取數據的范圍，最后得到值f_j，即將同一個點的特征維度按預定方式分組取得每組中的最大值，作為這一點的新的一系列的特征，這樣，可以在神經網絡中獲得不同特征層之間的相關信息，可以顯著提升神經網絡的識別能力。因此，maxout層運算成為目前各種計算裝置在設計之初都需要考慮的一個重要問題。

在現有技術中，一種進行maxout層運算的已知方案是使用通用處理器，該方法通過通用寄存器堆和通用功能單元來執行通用指令，從而執行maxout層運算。然而，該方法的缺點之一是單個通用處理器多用于標量計算，在進行maxout層運算時運算性能較低。而使用多個通用處理器并行執行時，通用處理器之間的相互通訊又有可能成為性能瓶頸。

在另一種現有技術中，使用圖形處理器(GPU)來進行神經網絡maxout層運算，其中，通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來進行maxout層運算。然而，上述方案中，GPU片上緩存太小，在進行大規模maxout層運算時需要不斷進行片外數據搬運，片外帶寬成為了主要性能瓶頸。

在另一種現有技術中，使用專門定制的maxout層運算裝置來進行神經網絡maxout層運算，其中，使用定制的寄存器堆和定制的處理單元進行maxout層運算。然而，目前已有的專用maxout層運算裝置受限于寄存器堆，不能夠靈活地支持不同長度的maxout層運算。

綜上所述，現有的不管是片上多核通用處理器、片間互聯通用處理器(單核或多核)、還是片間互聯圖形處理器都無法進行高效的maxout層運算，并且這些現有技術在處理maxout層運算問題時存在著代碼量大，受限于片間通訊，片上緩存不夠，支持的maxout層規模不夠靈活等問題。

發明內容

(一)要解決的技術問題

本發明的目的在于，提供一種maxout層運算裝置，解決現有技術中存在的受限于片間通訊、片上緩存不夠、支持的maxout層長度不夠靈活等問題。

(二)技術方案