[發明專利]支持離散數據表示的人工神經網絡正向運算裝置和方法

有效

• 申請號: 201811233426.6
• 申請日: 2016-04-15
• 公開（公告）號: CN109358900B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 劉少禮;于涌;陳云霽;陳天石
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/063;G06F7/523;G06F7/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明提供了一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置，包括指令緩存單元、控制器單元、數據訪問單元、互聯模塊、主運算模塊、以及多個從運算模塊、離散數據運算模塊、連續離散轉換模塊。使用該裝置可以實現支持離散數據表示的多層人工神經網絡的正向運算。正向運算過程中的權值、神經元等數據可以采用離散形式表示。例如?1、?1/2、0、1/2、1等不是連續的數據。提供了支持離散數據運算的模塊。根據離散數據的值采用不同位運算例如數據的異或、取非等代替連續數據的基本運算例如乘法、加法等。提供了將連續數據轉換為離散數據的模塊。提供了利用上述裝置支持批歸一化(batch normalization)計算。

技術領域

本發明總體上涉及人工神經網絡，具體地涉及一種用于執行人工神經網絡正向運算的裝置和方法，本發明中的數據支持離散數據表示。并對離散數據，用按位運算例如異或、取非等代替了連續數據基本運算例如乘法等操作。

背景技術

多層人工神經網絡被廣泛應用于模式識別，圖像處理，函數逼近和優化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業界越來越廣泛的關注。

一種支持多層人工神經網絡正向運算的已知方法是使用通用處理器。該方法通過使用通用寄存器堆和通用功能部件執行通用指令來支持上述算法。另一種支持多層人工神經網絡正向訓練的已知方法是使用圖形處理器(GPU)。該方法通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來支持上述算法。

這兩種裝置在數據存儲和運算上都是使用的連續數據。連續數據的存儲需要較多的資源，例如一個32位的浮點數據，就需要32個比特位來存儲該數據。在連續數據的運算上，所需要的加法器、乘法器等功能部件的實現也較為復雜。

離散數據表示指通過特定的數字來代替連續數據的存儲方式。例如，可以通過00、01、10、11四個數字分別代表數據-1、-1/8、1/8、1四個數字。這種存儲方式不同于連續存儲方式。在連續存儲方式中二進制數00/01/10/11就代表著十進制中0/1/2/3四個連續的數字。通過這種類似于索引的表示方式我們用形式上連續的數字代替了不連續離散化的真實數據。存儲的數字不是連續的，所以叫離散數據表示。

目前的運算多層人工神經網絡的運算裝置在數據表示上已知方法是用浮點數或者定點數這樣的連續數據表示。因為多層神經網絡權值的精度較高和數量較大，連續數據的表示方式在運算和存儲兩方面帶來更大的開銷。而通過離散數據表示的方式，可以通過數據按位的異或、移位等運算代替連續數據的乘法等運算。從而大大減少乘法器部件的數量。并且用幾個比特位的離散化數據，相比于傳統的32位的浮點數存儲上的優勢也是明顯的。

發明內容

本發明的一個方面提供了一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置，包括指令緩存單元、控制器單元、數據訪問單元、互聯模塊、主運算模塊、多個從運算模塊，其中：

指令緩存單元用于通過數據訪問單元讀入指令并緩存讀入的指令；

控制器單元用于從指令緩存單元讀取指令，并將該指令譯碼成控制互聯模塊、主運算模塊、以及從運算模塊行為的微指令；

數據訪問單元用于從外部地址空間向主運算模塊和各從運算模塊的相應數據緩存單元中寫入離散數據或連續數據或從所述數據緩存單元向外部地址空間讀離散數據或連續數據；

每層神經網絡開始正向計算的階段，主運算模塊通過互聯模塊向所有的從運算模塊傳輸本層的離散或連續的輸入神經元向量，在從運算模塊的計算過程完成后，互聯模塊逐級將各從運算模塊的離散或連續化的輸出神經元值拼成中間結果向量，其中，當輸入數據是離散數據與連續數據的混合數據時，從運算模塊針對不同離散數據采取預先設置的相應計算方式；

主運算模塊用于利用中間結果向量完成后續計算，當輸入數據是離散數據與連續數據的混合數據時，主運算模塊針對不同離散數據采取預先設置的相應計算方式。