[發明專利]一種用于執行RMSprop梯度下降算法的裝置及方法

有效

• 申請號: 201610269674.0
• 申請日: 2016-04-27
• 公開（公告）號: CN107315569B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 劉少禮;郭崎;陳天石;陳云霽
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F9/22
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種用于執行RMSprop梯度下降算法的裝置，其特征在于，該裝置包括：

控制器單元(3)，用于讀取指令，將讀取的指令譯碼為控制數據緩存單元(4)或數據處理模塊(5)行為的微指令；

數據緩存單元(4)，用于在初始化及數據更新過程中緩存均方矩陣；

數據處理模塊(5)，連接到所述控制器單元(3)與數據緩存單元(4)，用于更新均方向量和待更新參數，并將更新后的均方向量寫入到數據緩存單元(4)中，將更新后的待更新參數通過直接內存訪問單元(1)寫入到外部指定空間中，

其中，所述數據緩存單元(4)在初始化時初始化均方矩陣RMS_t，在每次數據更新過程中將均方矩陣RMS_t-1讀出到數據處理模塊(5)中，在數據處理模塊(5)中更新為均方矩陣RMS_t，然后再寫入到數據緩存單元(4)中。

2.根據權利要求1所述的裝置，其特征在于，所述裝置還包括：

直接內存訪問單元(1)，用于訪問外部指定空間，向指令緩存單元(2)和數據處理模塊(5)讀寫數據，完成數據的加載和存儲；

指令緩存單元(2)，用于通過直接內存訪問單元(1)讀取指令，并緩存讀取的指令。

3.根據權利要求2所述的裝置，其特征在于，所述直接內存訪問單元(1)是從外部指定空間向指令緩存單元(2)寫入指令，從外部指定空間讀取待更新參數和對應的梯度值到數據處理模塊(5)，并將更新后的參數向量從數據處理模塊(5)直接寫入外部指定空間。

4.根據權利要求2所述的裝置，其特征在于，所述控制器單元(3)將讀取的指令譯碼為控制直接內存訪問單元(1)、數據緩存單元(4)或數據處理模塊(5)行為的微指令，用以控制直接內存訪問單元(1)從外部指定地址讀取數據和將數據寫入外部指定地址，控制數據緩存單元(4)通過直接內存訪問單元(1)從外部指定地址獲取操作所需的指令，控制數據處理模塊(5)進行待更新參數的更新運算，以及控制數據緩存單元(4)與數據處理模塊(5)進行數據傳輸。

5.根據權利要求1所述的裝置，其特征在于，在裝置運行過程中，所述數據緩存單元(4)內部始終保存著均方矩陣RMS_t的副本。

6.根據權利要求2所述的裝置，其特征在于，所述數據處理模塊(5)從數據緩存單元(4)中讀取均方向量RMS_t-1，通過直接內存訪問單元(1)從外部指定空間中讀取待更新參數向量θ_t-1、梯度向量全局更新步長α和均方向量更新率δ，將均方向量RMS_t-1更新為RMS_t，通過RMS_t更新待更新參數θ_t-1為θ_t，并將RMS_t回寫到數據緩存單元(4)中，將θ_t通過直接內存控制單元(1)回寫到外部指定空間。

7.根據權利要求6所述的裝置，其特征在于，所述數據處理模塊(5)將均方向量RMS_t-1更新為RMS_t是根據公式實現的，所述數據處理模塊(5)將待更新向量θ_t-1更新為θ_t是根據公式實現的。

8.根據權利要求1或7所述的的裝置，其特征在于，所述數據處理模塊(5)包括運算控制子模塊(51)、向量加法并行運算子模塊(52)、向量乘法并行運算子模塊(53)、向量除法并行運算子模塊(54)、向量平方根并行運算子模塊(55)和基本運算子模塊(56)，其中向量加法并行運算子模塊(52)、向量乘法并行運算子模塊(53)、向量除法并行運算子模塊(54)、向量平方根并行運算子模塊(55)以及基本運算子模塊(56)并聯連接，運算控制子模塊(51)分別與向量加法并行運算子模塊(52)、向量乘法并行運算子模塊(53)、向量除法并行運算子模塊(54)、向量平方根并行運算子模塊(55)以及基本運算子模塊(56)串聯連接。