[發明專利]支持離散數據表示的人工神經網絡正向運算裝置和方法

有效

• 申請號: 201811233426.6
• 申請日: 2016-04-15
• 公開（公告）號: CN109358900B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 劉少禮;于涌;陳云霽;陳天石
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/063;G06F7/523;G06F7/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種支持離散數據表示的用于執行人工神經網絡正向運算的裝置，包括指令緩存單元、控制器單元、數據訪問單元、計算單元和連續離散轉換模塊，其中：

數據訪問單元，用于訪存外部地址空間，直接向裝置內部的各個緩存單元讀寫數據，完成數據的加載和存儲；

指令緩存單元，用于讀入的指令；

所述連續離散轉換模塊，用于對數據執行離散數據類型以及連續數據類型之間的互換；

控制器單元，用于從指令緩存單元讀取指令，并將該指令譯碼成計算單元行為的微指令；

計算單元，用于執行本層的輸入神經元向量與權值向量之間的運算得到計算結果，所述輸入神經元向量為全部離散數據或混合數據；所述計算單元具體包括：互聯模塊、主運算模塊和從運算模塊；所述互聯模塊，用于連接主運算模塊與從運算模塊；

主運算模塊，用于通過互聯模塊向所有的從運算模塊傳輸本層的輸入神經元向量；

從運算模塊，用于將輸入神經元向量與從運算模塊對應的權值向量執行計算得到輸出神經元值，并通過互聯模塊發送給主運算模塊；所述輸入神經元向量與所述權值向量中至少有一個為離散數據；

所述互聯模塊，用于依據輸出神經元值得到中間結果向量，將中間結果向量發送給主運算模塊；

主運算模塊，用于對中間結果執行后續計算得到計算結果；

若運算因子全是離散數據時，離散數據運算單元執行相應運算；若運算因子為混合數據時，針對不同離散數據，為加、減、乘、除運算預先設定相應的位操作；

所述混合數據為：既包含連續數據又包含離散數據的混合數據。

2.根據權利要求1所述的裝置，其特征在于，所述從運算模塊為多個從運算模塊，

所述互聯模塊，具體用于逐級將各從運算模塊的輸出神經元值拼成中間結果向量。

3.根據權利要求2所述的裝置，其中，

所述多個從運算模塊，具體用于對相同的輸入神經元向量和各個從運算模塊對應的不同的權值向量執行并行計算得到多個輸出神經元值。

4.根據權利要求2所述的裝置，其中，所述后續計算為以下任一項操作：

加偏置操作、激活操作、池化操作或采樣操作；

所述激活操作的激活函數active為非線性函數sigmoid，tanh，relu，softmax中的任一個；

所述池化操作包括最大值池化或平均值池化。

5.根據權利要求2所述的裝置，其中，從運算模塊包括輸入神經元緩存單元，用于緩存輸入神經元向量，所述輸入神經元向量為離散數據或混合數據。

6.根據權利要求2所述的裝置，其中，主運算模塊包括：運算單元、數據依賴關系判斷單元和神經元緩存單元，其中：

神經元緩存單元，用于緩存主運算模塊在計算過程中的輸入數據和輸出數據；

運算單元，用于執行主運算模塊的各種運算；

數據依賴關系判斷單元，用于從神經元緩存單元讀取輸入神經元向量，并通過互聯模塊發送給從運算模塊，接收互聯模塊的中間結果向量，并發送到運算單元。

7.根據權利要求6所述的裝置，其特征在于，

所述運算單元，具體用于在運算因子全為離散數據時，通過查表實現離散數據與離散數據的加減乘除運算；

或所述運算單元，具體用于在運算因子包括離散數據和連續數據時，針對不同的離散數據，為加減乘除運算預設設定相應的位操作。

8.根據權利要求2所述的裝置，其中，每個從運算模塊包括：從運算單元、從數據依賴關系判定單元、從神經元緩存單元和權值緩存單元，其中：

從運算單元，用于接收控制器單元發出的微指令并進行算數邏輯運算；

從數據依賴關系判斷單元，用于執行神經元緩存單元和權值緩存單元的讀寫操作；

從神經元緩存單元，用于緩存輸入神經元向量的數據以及該從運算模塊計算得到的輸出神經元值；

權值緩存單元，用于緩存該從運算模塊在計算過程中需要的權值向量。