[發明專利]用于執行人工神經網絡反向訓練的裝置和方法

有效

• 申請號: 201610039032.1
• 申請日: 2016-01-20
• 公開（公告）號: CN106991478B
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 劉少禮;郭崎;陳云霽;陳天石
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本披露提供了一種用于執行人工神經網絡反向訓練的裝置，包括指令緩存單元、控制器單元、直接內存訪問單元、H樹模塊、主運算模塊、以及多個從運算模塊。使用該裝置可以實現多層人工神經網絡的反向訓練。對于每一層來說，首先對輸入梯度向量進行加權求和計算出本層的輸出梯度向量。該輸出梯度向量乘以下一層在正向運算時的激活函數的導數值可以得到下一層的輸入梯度向量。將輸入梯度向量與正向運算時的輸入神經元對位相乘得到本層權值的梯度，然后可以根據所得到的本層權值的梯度來更新本層的權值。

技術領域

本披露總體上涉及人工神經網絡，具體地涉及一種用于執行人工神經網絡反向訓練的裝置和方法。

背景技術

多層人工神經網絡被廣泛應用于模式識別，圖像處理，函數逼近和優化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業界越來越廣泛的關注。

一種支持多層人工神經網絡反向訓練的已知方法是使用通用處理器。該方法通過使用通用寄存器堆和通用功能部件執行通用指令來支持上述算法。該方法的缺點之一是單個通用處理器的運算性能較低，無法滿足通常的多層人工神經網絡運算的性能需求。而多個通用處理器并行執行時，通用處理器之間相互通信又成為了性能瓶頸。另外，通用處理器需要把多層人工神經網絡反向運算譯碼成一長列運算及訪存指令序列，處理器前端譯碼帶來了較大的功耗開銷。

另一種支持多層人工神經網絡反向訓練的已知方法是使用圖形處理器(GPU)。該方法通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來支持上述算法。由于GPU是專門用來執行圖形圖像運算以及科學計算的設備，沒有對多層人工神經網絡運算的專門支持，仍然需要大量的前端譯碼工作才能執行多層人工神經網絡運算，帶來了大量的額外開銷。另外GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸。另外，GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

發明內容

本披露的一個方面提供了一種用于執行人工神經網絡反向訓練的裝置，包括指令緩存單元、控制器單元、直接內存訪問單元、H樹模塊、主運算模塊、以及多個從運算模塊，其中：指令緩存單元用于緩存指令；控制器單元用于從指令緩存單元讀取指令，并將該指令譯碼成控制H樹模塊、主運算模塊、以及從運算模塊行為的微指令；直接內存訪問單元用于從內存向主運算模塊和各從運算模塊的相應數據緩存單元中寫數據或從所述數據緩存單元向內存讀數據；H樹模塊用于，在每層神經網絡反向訓練開始計算的階段，主運算模塊通過H樹模塊向所有的從運算模塊傳輸本層的輸入梯度向量，在從計算模塊的計算過程完成后，H樹模塊逐級將各從計算模塊的輸出梯度向量部分和兩兩相加得到本層的輸出梯度向量；主運算模塊用于在每一層的計算過程中，利用本層的輸出梯度向量完成后續計算；以及每個從運算模塊利用相同的輸入梯度向量和各自的權值數據，并行地計算出相應的輸出梯度向量部分和。

本披露的另一個方面提供了一種使用上述裝置執行單層人工神經網絡反向訓練的方法。

本披露的另一方面提供了一種使用上述裝置執行多層人工神經網絡反向訓練的方法。

附圖說明

為了更完整地理解本披露及其優勢，現在將參考結合附圖的以下描述，其中：

圖1示出了根據本披露實施例的用于執行人工神經網絡反向訓練的裝置的整體結構的示例框圖。

圖2示意性示出了根據本披露實施例的用于執行人工神經網絡反向訓練的裝置中H樹模塊的結構。

圖3示出了根據本披露實施例的用于執行人工神經網絡反向訓練的裝置中主運算模塊結構的示例框圖。

圖4示出了根據本披露實施例的用于執行人工神經網絡反向訓練的裝置中從運算模塊結構的示例框圖。