[發明專利]一種用于執行人工神經網絡正向運算的裝置和方法

在審

• 申請號: 201610282480.4
• 申請日: 2016-04-29
• 公開（公告）號: CN107330515A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 陳云霽;劉少禮;郭崎;陳天石
• 申請（專利權）人: 北京中科寒武紀科技有限公司
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 任巖

1.一種用于執行人工神經網絡正向運算的裝置，包括浮點數據統計模塊、數據轉換單元和定點數據運算模塊，其特征在于，

所述浮點數據統計模塊用于對所述人工神經網絡正向運算所需的各個類型的數據進行統計分析，得到小數點位置Point location；

所述數據轉換單元用于根據所述浮點數據統計模塊得到的所述小數點位置Point location來實現長位數浮點數據類型向短位數定點數據類型的轉換；

所述定點數據運算模塊用于在所述數據轉換單元將所有所述人工神經網絡正向運算中所需的輸入、權值和/或偏置數據均采用短位數定點數據類型表示之后，對所述短位數定點數據進行人工神經網絡正向運算。

2.如權利要求1所述的用于執行人工神經網絡正向運算的裝置，其特征在于，所述浮點數據統計模塊包括數據提取單元、統計單元和分析單元，其中，所述數據提取單元用于提取基于長位數浮點數據的正向運算中各種不同類型的數據；所述統計單元用于統計同一類型數據的數據范圍及各數據段的數據分布情況；所述分析單元根據統計單元統計的結果，得出用短位數定點表示各個類型數據應當設定的小數點位置Point location。

3.如權利要求1所述的用于執行人工神經網絡正向運算的裝置，其特征在于，所述用于執行人工神經網絡正向運算的裝置還包括舍入單元，所述舍入單元用于在運算結束后，對超出短位數定點精度范圍的數據進行舍入操作。

4.如權利要求3所述的用于執行人工神經網絡正向運算的裝置，其特征在于，所述舍入單元選自隨機舍入單元、四舍五入單元、向上舍入單元、向下舍入單元、截斷舍入單元中的任一種；

其中，所述隨機舍入單元執行如下操作：

其中，y表示隨機舍入后的短位定點數據，x表示隨機舍入前的長位浮點數據，ε為當前短位數定點數據表示格式所能表示的最小正整數，即2^{-Point_location}，表示對原數據x直接截得短位數定點數據所得的數，w.p.表示概率，即隨機舍入獲得的數據y為的概率為為的概率為

所述四舍五入單元執行如下操作：

其中，y表示四舍五入后的短位定點數據，x表示四舍五入前的長位浮點數據，ε為當前短位數定點數據表示格式所能表示的最小正整數，即2^{-Point_location}，為ε的整數倍，其值為小于或等于x的最大數；

所述向上舍入單元執行如下操作：

其中，y表示向上舍入后的短位定點數據，x表示向上舍入前的長位浮點數據，為ε的整數倍，其值為大于或等于x的最小數，ε為當前短位數定點數據表示格式所能表示的最小正整數，即2^{-Point_location}；

所述向下舍入單元執行如下操作：

其中，y表示向上舍入后的短位定點數據，x表示向上舍入前的長位浮點數據，為ε的整數倍，其值為小于或等于x的最大數，ε為當前短位數定點數據表示格式所能表示的最小正整數，即2^{-Point_location}；

所述截斷舍入單元執行如下操作：

y＝[x]；

其中，y表示截斷舍入后的短位定點數據，x表示截斷舍入前的長位浮點數據，[x]表示對原數據x直接截得短位數定點數據所得的數。

5.如權利要求3所述的用于執行人工神經網絡正向運算的裝置，其特征在于，所述數據轉換單元先通過所述舍入單元對待處理的數據進行舍入操作，再根據浮點數據統計模塊得到的小數點位置Point location來實現長位數浮點數據類型向短位數定點數據類型的轉換。

6.如權利要求1所述的用于執行人工神經網絡正向運算的裝置，其特征在于，所述用于執行人工神經網絡正向運算的裝置還包括運算緩存單元，所述運算緩存單元采用長位數浮點數據類型存儲正向運算中加法和乘法的中間運算結果。