[發明專利]用于執行人工神經網絡正向運算的裝置和方法

有效

• 申請號: 201610037645.1
• 申請日: 2016-01-20
• 公開（公告）號: CN106991476B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 劉少禮;郭崎;陳云霽;陳天石
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

技術領域

本發明總體上涉及人工神經網絡，具體地涉及一種用于執行人工神經網絡正向運算的裝置和方法。

背景技術

多層人工神經網絡被廣泛應用于模式識別，圖像處理，函數逼近和優化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業界越來越廣泛的關注。

一種支持多層人工神經網絡正向運算的已知方法是使用通用處理器。該方法通過使用通用寄存器堆和通用功能部件執行通用指令來支持上述算法。該方法的缺點之一是單個通用處理器的運算性能較低，無法滿足通常的多層人工神經網絡運算的性能需求。而多個通用處理器并行執行時，通用處理器之間相互通信又成為了性能瓶頸。另外，通用處理器需要把多層人工神經網絡正向運算譯碼成一長列運算及訪存指令序列，處理器前端譯碼帶來了較大的功耗開銷

另一種支持多層人工神經網絡反向訓練的已知方法是使用圖形處理器(GPU)。該方法通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來支持上述算法。由于GPU是專門用來執行圖形圖像運算以及科學計算的設備，沒有對多層人工神經網絡運算的專門支持，仍然需要大量的前端譯碼工作才能執行多層人工神經網絡運算，帶來了大量的額外開銷。另外GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸。另外，GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

發明內容

本發明的一個方面提供了一種用于執行人工神經網絡正向運算的裝置，包括指令緩存單元、控制器單元、直接內存訪問單元、H樹模塊、主運算模塊、以及多個從運算模塊，其中：指令緩存單元用于通過直接內存訪問單元讀入指令并緩存讀入的指令；控制器單元用于從指令緩存單元讀取指令，并將該指令譯碼成控制H樹模塊、主運算模塊、以及從運算模塊行為的微指令；直接內存訪問單元用于從外部地址空間向主運算模塊和各從運算模塊的相應數據緩存單元中寫數據或從所述數據緩存單元向外部地址空間讀數據；H樹模塊用于，在每層神經網絡反向訓練開始計算的階段，主運算模塊通過H樹模塊向所有的從運算模塊傳輸本層的輸入神經元向量，在從計算模塊的計算過程完成后，H樹模塊逐級將各從計算模塊的輸出神經元值拼成中間結果向量；主運算模塊用于利用中間結果向量完成后續計算。

本發明的另一個方面提供了一種使用上述裝置執行單層人工神經網絡正向運算的方法。

本發明的另一方面提供了一種使用上述裝置執行多層人工神經網絡正向運算的方法。

附圖說明

為了更完整地理解本發明及其優勢，現在將參考結合附圖的以下描述，其中：

圖1示出了根據本發明實施例的用于執行人工神經網絡正向運算的裝置的整體結構的示例框圖。

圖2示意性示出了根據本發明實施例的用于執行人工神經網絡正向運算的裝置中H樹模塊的結構。

圖3示出了根據本發明實施例的用于執行人工神經網絡正向運算的裝置中主運算模塊結構的示例框圖。

圖4示出了根據本發明實施例的用于執行人工神經網絡正向運算 的裝置中從運算模塊結構的示例框圖。

圖5示出了根據本發明實施例的神經網絡正向運算過程的示例框圖。

圖6示出了根據本發明實施例的單層人工神經網絡運算的流程圖。

在所有附圖中，相同的裝置、部件、單元等使用相同的附圖標記來表示。

具體實施方式

根據結合附圖對本發明示例性實施例的以下詳細描述，本發明的其它方面、優勢和突出特征對于本領域技術人員將變得顯而易見。

在本發明中，術語“包括”和“含有”及其派生詞意為包括而非限制；術語“或”是包含性的，意為和/或。

在本說明書中，下述用于描述本發明原理的各種實施例只是說明，不應該以任何方式解釋為限制發明的范圍。參照附圖的下述描述用于幫助全面理解由權利要求及其等同物限定的本發明的示例性實施例。下述描述包括多種具體細節來幫助理解，但這些細節應認為僅僅是示例性的。因此，本領域普通技術人員應認識到，在不背離本發明的范圍和精神的情況下，可以對本文中描述的實施例進行多種改變和修改。此外，為了清楚和簡潔起見，省略了公知功能和結構的描述。此外，貫穿附圖，相同參考數字用于相似功能和操作。