[發明專利]訪存設備、計算設備和應用于卷積神經網絡運算的設備

有效

• 申請號: 201680091648.1
• 申請日: 2016-12-16
• 公開（公告）號: CN110073329B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 汪濤;宋風龍;劉武龍
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F7/57
• 分類號: G06F7/57
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

一種訪存設備、計算設備和應用于卷積神經網絡運算的設備，以提高訪存效率和計算運算吞吐量，同時降低計算功耗。包括：輸入緩存單元，用于緩存待計算的數據塊；級聯單元，與輸入緩存單元相連，級聯單元從輸入緩存單元中讀取待計算的數據塊，待計算的數據塊包括第一數據塊和第二數據塊；將第一數據塊和第二數據塊首尾相連，得到級聯數據塊；從級聯數據塊中截取第三數據塊，第三數據塊包含級聯數據塊中的一段連續的數據，且第三數據塊的長度與輸入緩存單元中的數據塊的長度相等。

技術領域

本申請涉及計算機領域，尤其涉及計算機領域中的訪存設備、計算設備和應用于卷積神經網絡運算的設備。

背景技術

卷積神經網絡(convolutional neural network，CNN)是深度學習中使用最廣泛的算法，它廣泛應用于圖像分類、語音識別、視頻理解、人臉檢測等多種應用中。針對神經網絡數據密集性的計算特點，卷積神經網絡運算通常采用定制的神經網絡處理器。近年來，神經網絡處理器成為學術界和工業界的研究熱點。

對于當前的神經網絡處理器，概括而言，其研究方向主要包含計算和存儲兩方面。其中在計算方面，卷積運算的核心是乘累加運算。卷積運算中通常包含大量的-1，0，2ⁿ等特殊數據，這些數據占用了很大一部分的計算資源。但是-1，0，2ⁿ等特殊數據是在運行時產生的，而編譯器只能進行靜態優化，不能對運行中的數據進行優化。導致計算的速率和吞吐量較低。

在存儲方面，由于卷積算法的數據局部性強，所以存在頻繁地址非對齊訪存。而在對緩存進行地址非對齊訪問時，緩存需要同時訪問連續的兩個訪存塊，且經過復雜的地址譯碼、數據選通、旋轉移位等多個操作，功耗較高，同時難以在一個時鐘周期內產生所需要的訪問數據。

發明內容

本申請提供了一種訪存設備、計算設備和應用于卷積神經網絡運算的設備，以提高訪存效率和計算運算吞吐量，同時降低計算功耗。

第一方面，提供了一種訪存設備，包括：輸入緩存單元，用于緩存待計算的數據塊；級聯單元，與所述輸入緩存單元相連，所述級聯單元用于從所述輸入緩存單元中讀取所述待計算的數據塊，所述待計算的數據塊包括第一數據塊和第二數據塊；將所述第一數據塊和所述第二數據塊首尾相連，得到級聯數據塊；從所述級聯數據塊中截取第三數據塊，所述第三數據塊包含所述級聯數據塊中的一段連續的數據，且所述第三數據塊的長度與所述輸入緩存單元中的數據塊的長度相等。

級聯單元可以將從輸入緩存單元中讀取的第一數據塊和第二數據塊首尾相連，得到級聯數據塊。并從級聯數據中截取任意起始位置的一個數據塊長度的第三數據塊。從而能夠通過任意截取級聯數據塊中數據的方法實現快速的地址非對齊訪問，提高了地址非對齊訪問的效率。

在一種可能的實現方式中，所述訪存設備還包括：控制單元，所述控制單元與所述級聯單元相連，用于向所述級聯單元發送第一控制指令，所述第一控制指令用于指示所述級聯數據塊的截取方式；所述級聯單元根據所述第一控制指令，從所述級聯數據塊中截取所述第三數據塊。

在本申請實施例中，可以根據第一控制指令從輸入緩存單元的兩個數據塊中按照任意起始地址快速取得一個向量長度數據，即通過一條指令支持任意地址非對齊訪問，能夠精簡地址非對齊訪問的指令，提高訪存效率。

在一種可能的實現方式中，所述第一控制指令包含第一指示信息，所述第一指示信息用于指示所述第三數據塊在所述級聯數據塊中的起始位置。

在一種可能的實現方式中，所述第一指示信息包含所述第三數據塊的起始位置的數據序號，所述第一控制指令還包括第二指示信息，所述第二指示信息用于指示所述待計算的數據塊的數據格式；所述級聯設備根據所述數據序號以及所述數據格式，確定所述第三數據塊在所述級聯數據塊中的起始位置。