[發(fā)明專利]一種用于執(zhí)行RMSprop梯度下降算法的裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610269674.0
• 申請(qǐng)日: 2016-04-27
• 公開(kāi)（公告）號(hào): CN107315569B
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 劉少禮;郭崎;陳天石;陳云霽
• 申請(qǐng)（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號(hào): G06F9/30
• 分類號(hào): G06F9/30;G06F9/22
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

本公開(kāi)提供了一種用于執(zhí)行RMSprop梯度下降算法的裝置及方法，該裝置包括直接內(nèi)存訪問(wèn)單元、指令緩存單元、控制器單元、數(shù)據(jù)緩存單元、數(shù)據(jù)處理模塊。該方法包括：首先讀取梯度向量以及待更新值向量，同時(shí)初始化一個(gè)均方向量；每次迭代時(shí)，首先利用梯度向量更新均方向量，然后，利用均方向量計(jì)算出更新時(shí)對(duì)應(yīng)的梯度下降量，更新待更新參數(shù)向量，重復(fù)此過(guò)程，直至待更新向量收斂。在整個(gè)過(guò)程中，均方向量一直存儲(chǔ)在數(shù)據(jù)緩存單元中。利用本公開(kāi)，可以實(shí)現(xiàn)RMSprop梯度下降算法的應(yīng)用，并大幅度提高數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本公開(kāi)涉及RMSprop算法應(yīng)用技術(shù)領(lǐng)域，具體地涉及一種用于執(zhí)行RMSprop梯度下降算法的裝置及方法，是有關(guān)于RMSprop梯度下降優(yōu)化算法的硬件實(shí)現(xiàn)的相關(guān)應(yīng)用。

背景技術(shù)

梯度下降優(yōu)化算法在函數(shù)逼近、優(yōu)化計(jì)算、模式識(shí)別和圖像處理等領(lǐng)域被廣泛應(yīng)用，RMSprop算法作為梯度下降優(yōu)化算法中的一種，由于其易于實(shí)現(xiàn)，計(jì)算量小，所需存儲(chǔ)空間小以及對(duì)mini-batch數(shù)據(jù)集進(jìn)行處理時(shí)效果好等特征被廣泛的使用，并且使用專用裝置實(shí)現(xiàn)RMSprop算法可以顯著提高其執(zhí)行的速度。

目前，一種執(zhí)行RMSprop梯度下降算法的已知方法是使用通用處理器。該方法通過(guò)使用通用寄存器堆和通用功能部件執(zhí)行通用指令來(lái)支持上述算法。該方法的缺點(diǎn)之一是單個(gè)通用處理器的運(yùn)算性能較低，而多個(gè)通用處理器并行執(zhí)行時(shí)，通用處理器之間相互通信又成為了性能瓶頸。另外，通用處理器需要把RMSprop算法對(duì)應(yīng)的相關(guān)運(yùn)算譯碼成一長(zhǎng)列運(yùn)算及訪存指令序列，處理器前端譯碼帶來(lái)了較大的功耗開(kāi)銷。

另一種執(zhí)行RMSprop梯度下降算法的已知方法是使用圖形處理器(GPU)。該方法通過(guò)使用通用寄存器堆和通用流處理單元執(zhí)行通用單指令多數(shù)據(jù)流(SIMD)指令來(lái)支持上述算法。由于GPU是專門(mén)用來(lái)執(zhí)行圖形圖像運(yùn)算以及科學(xué)計(jì)算的設(shè)備，沒(méi)有對(duì)RMSprop梯度下降算法相關(guān)運(yùn)算的專門(mén)支持，仍然需要大量的前端譯碼工作才能執(zhí)行RMSprop梯度下降算法中相關(guān)的運(yùn)算，帶來(lái)了大量的額外開(kāi)銷。另外，GPU只有較小的片上緩存，RMSprop梯度下降算法運(yùn)行中所需的中間變量數(shù)據(jù)如均方向量等需要反復(fù)從片外搬運(yùn)，片外帶寬成為了主要性能瓶頸，同時(shí)帶來(lái)了巨大的功耗開(kāi)銷。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問(wèn)題

有鑒于此，本公開(kāi)的主要目的在于提供一種用于執(zhí)行RMSprop梯度下降算法的裝置及方法，以解決數(shù)據(jù)的通用處理器運(yùn)算性能不足，前段譯碼開(kāi)銷大的問(wèn)題，并避免反復(fù)向內(nèi)存讀取數(shù)據(jù)，降低內(nèi)存訪問(wèn)的帶寬。

(二)技術(shù)方案

為達(dá)到上述目的，本公開(kāi)提供了一種用于執(zhí)行RMSprop梯度下降算法的裝置，該裝置包括直接內(nèi)存訪問(wèn)單元1、指令緩存單元2、控制器單元3、數(shù)據(jù)緩存單元4、數(shù)據(jù)處理模塊5，其中：

直接內(nèi)存訪問(wèn)單元1，用于訪問(wèn)外部指定空間，向指令緩存單元2和數(shù)據(jù)處理模塊5讀寫(xiě)數(shù)據(jù)，完成數(shù)據(jù)的加載和存儲(chǔ)；

指令緩存單元2，用于通過(guò)直接內(nèi)存訪問(wèn)單元1讀取指令，并緩存讀取的指令；

控制器單元3，用于從指令緩存單元2中讀取指令，將讀取的指令譯碼為控制直接內(nèi)存訪問(wèn)單元1、數(shù)據(jù)緩存單元4或數(shù)據(jù)處理模塊5行為的微指令；

數(shù)據(jù)緩存單元4，用于在初始化及數(shù)據(jù)更新過(guò)程中緩存均方矩陣；

數(shù)據(jù)處理模塊5，用于更新均方向量和待更新參數(shù)，并將更新后的均方向量寫(xiě)入到數(shù)據(jù)緩存單元4中，將更新后的待更新參數(shù)通過(guò)直接內(nèi)存訪問(wèn)單元1寫(xiě)入到外部指定空間中。

上述方案中，所述直接內(nèi)存訪問(wèn)單元1是從外部指定空間向指令緩存單元2寫(xiě)入指令，從外部指定空間讀取待更新參數(shù)和對(duì)應(yīng)的梯度值到數(shù)據(jù)處理模塊5，并將更新后的參數(shù)向量從數(shù)據(jù)處理模塊5直接寫(xiě)入外部指定空間。