[發明專利]一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置及方法

有效

• 申請號: 201710928125.4
• 申請日: 2017-07-20
• 公開（公告）號: CN107807819B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 陳天石;劉少禮;王在;胡帥
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06F9/302
• 分類號: G06F9/302;G06N3/063;G06F7/523;G06F9/30
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本披露提供了一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置，包括控制器單元、數據訪問單元、互聯模塊、主運算模塊、多個從運算模塊。本披露提供的技術方案具有計算速度快，效率高的優點。

技術領域

本披露涉及一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置及方法。

背景技術

數據處理是大部分算法需要經過的步驟或階段，在計算機引入數據處理領域后，越來越多的數據處理通過計算機來實現，現有的算法中有計算設備在進行神經網絡的數據計算時速度慢，效率低。

發明內容

本披露實施例提供了一種計算方法及相關產品，可提升計算裝置的處理速度，提高效率。

第一方面，提供一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置，包括控制器單元、數據訪問單元、互聯模塊、主運算模塊、多個從運算模塊，其中：所述指令為卷積神經網絡運算指令，包括：至少1個操作碼和至少1個操作域，其中，所述操作碼用于指示所述卷積神經網絡運算指令的功能，所述操作域用于指示所述卷積神經網絡運算指令的數據信息；所述數據信息包括：立即數或寄存器號，具體包括：輸入數據的起始地址和數據長度，卷積核的起始地址和數據長度，以及激活函數的類型；控制器單元用于讀取指令，并將該指令譯碼成控制互聯模塊、主運算模塊、以及從運算模塊行為的微指令；數據訪問單元用于從外部地址空間向主運算模塊和各從運算模塊的相應數據緩存單元中寫入離散數據或連續數據或從所述數據緩存單元向外部地址空間讀離散數據或連續數據；每層神經網絡開始正向計算的階段，主運算模塊通過互聯模塊向所有的從運算模塊傳輸本層的離散或連續的輸入神經元向量，在從運算模塊的計算過程完成后，互聯模塊逐級將各從運算模塊的離散或連續化的輸出神經元值拼成中間結果向量，其中，當輸入數據是離散數據與連續數據的混合數據時，從運算模塊針對不同離散數據采取預先設置的相應計算方式；主運算模塊用于利用中間結果向量完成后續計算，當輸入數據是離散數據與連續數據的混合數據時，主運算模塊針對不同離散數據采取預先設置的相應計算方式。

可選的，所述裝置還包括：指令緩存單元；用于通過數據訪問單元讀入指令并緩存讀入的指令。

可選的，離散數據表示指用特定的離散數字代替真實的連續數據的表示方式。

可選的，其中，多個從運算模塊利用相同的離散或連續的輸入神經元向量和各自不同的離散或連續的權值向量，并行地計算出各自的離散或連續輸出神經元值。

可選的，其中，主運算模塊對中間結果向量執行以下任一項操作：

加偏置操作，在中間結果向量上加上偏置；

對中間結果向量進行激活，激活函數active是非線性函數sigmoid，tanh，relu，softmax中的任一個或線性函數；

采樣操作，將中間結果向量與隨機數比較，大于隨機數則輸出1，小于隨機數則輸出0；或者

池化操作，包括最大值池化或平均值池化。

可選的，其中，從運算模塊包括輸入神經元緩存單元，用于緩存離散或者連續的輸入神經元向量。

可選的，其中，互聯模塊構成主運算模塊和所述多個從運算模塊之間的連續或離散化數據的數據通路。

可選的，其中，主運算模塊包括運算單元、數據依賴關系判斷單元和神經元緩存單元，其中：

神經元緩存單元用于緩存主運算模塊在計算過程中用到的離散或連續表示的輸入數據和輸出數據；

運算單元完成主運算模塊的各種運算功能，當輸入數據是離散數據與連續數據的混合數據時，針對不同離散數據采取預先設置的相應計算方式；