[發明專利]一種用于執行Hessian-Free訓練算法的裝置和方法

有效

• 申請號: 201610283885.X
• 申請日: 2016-04-29
• 公開（公告）號: CN107341540B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張士錦;郭崎;陳天石;陳云霽
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

一種計算裝置和方法，該裝置包括控制器單元和數據處理單元。所述數據處理單元包括運算控制子模塊和基本運算子模塊，以及梯度運算子模塊、阻尼項運算子模塊、高斯?牛頓矩陣運算子模塊和共軛梯度法運算子模塊中的至少之一。使用該裝置可以完成對各種神經網絡的訓練，如自動編碼器、卷積神經網絡RNN等等。本發明可以解決數據的通用處理器運算性能不足，前段譯碼開銷大的問題，加速相關應用的執行速度；同時，對數據緩存單元的應用，避免了反復向內存讀取數據，降低了內存訪問的帶寬。

技術領域

本發明涉及神經網絡運算技術領域，更具體地涉及一種用于執行Hessian-Free訓練算法的裝置和方法。

背景技術

梯度下降法在函數逼近、優化計算、模式識別和圖像處理等領域被廣泛應用。目前主流的神經網絡的訓練方法是梯度下降法(結合BP算法)，但是這種方法忽略了誤差函數的曲率信息，不僅容易出現參數變化過度平緩，從而無法收斂到局部最優點的情況，而且無法很好的處理“病態曲率”的誤差函數(比如Rosenbrock函數)。Hessian-Free訓練算法很好的解決了這個問題，并且通過一些細節改進，使之沒有出現運算量關于參數數量平方增長(和梯度下降法一樣是線性增長)的情況。

目前，一種執行Hessian-Free訓練算法的已知方法是使用通用處理器。該方法通過使用通用寄存器堆和通用功能部件執行通用指令來支持上述算法。該方法的缺點之一是單個通用處理器的運算性能較低。而多個通用處理器并行執行時，通用處理器之間相互通信又成為了性能瓶頸。另外，通用處理器需要把Hessian-Free訓練算法對應的相關運算譯碼成一長列運算及訪存指令序列，處理器前端譯碼帶來了較大的功耗開銷。

另一種執行Hessian-Free訓練算法的已知方法是使用圖形處理器(GPU)。該方法通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來支持上述算法。由于GPU是專門用來執行圖形圖像運算以及科學計算的設備，沒有對Hessian-Free訓練算法相關運算的專門支持，仍然需要大量的前端譯碼工作才能執行Hessian-Free訓練算法中相關的運算，帶來了大量的額外開銷。另外，GPU只有較小的片上緩存，運算中所需數據(如高斯-牛頓矩陣等)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

發明內容

有鑒于此，本發明的目的在于提供一種用于執行Hessian-Free訓練算法的裝置和方法，以期堅決上述技術問題中的至少之一。

為了實現上述目的，作為本發明的一個方面，本發明提供了一種用于執行Hessian-Free訓練算法的裝置，包括：

控制器單元，用于將讀取的指令譯碼為控制相應模塊的微指令，并將其發送給相應模塊；

數據緩存單元，用于存儲運算過程中的中間變量，并對所述中間變量執行初始化及更新操作；

數據處理單元，用于在所述控制器單元的控制下執行運算操作，并將中間變量存儲于所述數據緩存單元中。

其中，所述數據處理單元包括運算控制子模塊、梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊、共軛梯度法運算子模塊及基本運算子模塊；其中，所述基本運算子模塊進行的是矩陣、向量之間的加、乘基礎運算；

作為優選，所述梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊、共軛梯度法運算子模塊均能夠調用所述基本運算子模塊，且根據情況所述梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊、共軛梯度法運算子模塊之間允許互相調用。