[發(fā)明專利]一種用于執(zhí)行Hessian-Free訓(xùn)練算法的裝置和方法

有效

• 申請?zhí)枺?/td>: 201610283885.X
• 申請日: 2016-04-29
• 公開（公告）號: CN107341540B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 張士錦;郭崎;陳天石;陳云霽
• 申請（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

1.一種用于執(zhí)行Hessian-Free訓(xùn)練算法的計算裝置，所述計算裝置用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運算；所述計算裝置包括控制器單元和數(shù)據(jù)處理單元，其特征在于：

控制器單元，用于將讀取的指令譯碼為控制所述數(shù)據(jù)處理單元的微指令，并將所述微指令發(fā)送至所述數(shù)據(jù)處理單元；

數(shù)據(jù)處理單元，用于依據(jù)所述微指令對輸入數(shù)據(jù)執(zhí)行計算得到計算指令的結(jié)果；其中，所述數(shù)據(jù)處理單元包括運算控制子模塊和基本運算子模塊，以及梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊和共軛梯度法運算子模塊；

數(shù)據(jù)緩存單元，用于存儲運算過程中的中間變量，并對所述中間變量執(zhí)行初始化及更新操作；其中，所述數(shù)據(jù)緩存單元在裝置初始化時初始化f(θ)的二階估計在第n次待更新參數(shù)向量θ_n的更新開始前，將讀出到數(shù)據(jù)處理單元中，并在所述數(shù)據(jù)處理單元中得到更新向量后將再次寫入；其中，θ為待更新參數(shù)向量，θ_n為第n次待更新參數(shù)向量，f(θ)為誤差函數(shù)，即衡量結(jié)果的實際值與預(yù)測值偏離的函數(shù)；δ_n是更新向量，且θ_n+1＝θ_n+δ_n。

2.如權(quán)利要求1所述的計算裝置，其特征在于，所述基本運算子模塊進行矩陣和/或向量之間的加、乘基礎(chǔ)運算。

3.如權(quán)利要求1所述的計算裝置，其特征在于，所述梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊、共軛梯度法運算子模塊均能夠調(diào)用所述基本運算子模塊，且根據(jù)情況所述梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊、共軛梯度法運算子模塊之間允許互相調(diào)用。

4.如權(quán)利要求1所述的計算裝置，其特征在于，

所述數(shù)據(jù)處理單元在所述控制器單元的控制下執(zhí)行運算操作時將中間變量存儲于所述數(shù)據(jù)緩存單元中。

5.如權(quán)利要求1所述的計算裝置，其特征在于，所述數(shù)據(jù)緩存單元在初始化的步驟中，初始化其中的梯度高斯-牛頓矩陣G_f、阻尼系數(shù)λ和阻尼函數(shù)其中，所述梯度指f在θ_n處的梯度值，G_f是f在θ_n處的高斯-牛頓矩陣；阻尼函數(shù)是根據(jù)訓(xùn)練模型預(yù)先確定好的函數(shù)在θ_n處的值；阻尼系數(shù)λ通過LM式啟發(fā)式方法求得；

所述數(shù)據(jù)處理單元從所述數(shù)據(jù)緩存單元中讀取從外部指定空間中讀取待更新參數(shù)向量θ_n；在模塊內(nèi)得到更新向量δ_n，將θ_n更新為θ_n+1，對應(yīng)的更新為然后將寫入至所述數(shù)據(jù)緩存單元，將θ_n+1寫入到外部指定空間中；其中，θ_n+1為第n+1次待更新參數(shù)向量，為f(θ+1)的二階估計。

6.一種用于執(zhí)行Hessian-Free訓(xùn)練算法的計算方法，所述計算方法用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運算，其特征在于，所述計算方法包括以下步驟：

控制器單元將讀取的指令譯碼為控制數(shù)據(jù)處理單元的微指令，并將所述微指令發(fā)送至所述數(shù)據(jù)處理單元；

數(shù)據(jù)處理單元依據(jù)所述微指令對輸入數(shù)據(jù)執(zhí)行計算得到計算指令的結(jié)果；其中，所述數(shù)據(jù)處理單元包括運算控制子模塊和基本運算子模塊，以及梯度運算子模塊、阻尼項運算子模塊、高斯-牛頓矩陣運算子模塊和共軛梯度法運算子模塊中；

數(shù)據(jù)緩存單元存儲運算過程中生成的中間變量，并對所述中間變量執(zhí)行初始化及更新操作，其中，所述數(shù)據(jù)緩存單元在裝置初始化時初始化f(θ)的二階估計在第n次待更新參數(shù)向量θ_n的更新開始前，將讀出到數(shù)據(jù)處理單元中，并在所述數(shù)據(jù)處理單元中得到更新向量后將再次寫入；其中，θ為待更新參數(shù)向量，θ_n為第n次待更新參數(shù)向量，f(θ)為誤差函數(shù)，即衡量結(jié)果的實際值與預(yù)測值偏離的函數(shù)；δ_n是更新向量，且θ_n+1＝θ_n+δ_n。