[發明專利]神經網絡電路裝置、神經網絡處理方法和神經網絡的執行程序

在審

• 申請號: 201980047467.2
• 申請日: 2019-05-08
• 公開（公告）號: CN112424798A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 中原啟貴
• 申請（專利權）人: 東京工匠智能有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;蔣國偉

1.一種神經網絡電路裝置，是至少包括輸入層、輸出層和1層以上的中間層的神經網絡的電路裝置，

其特征在于，

具有卷積運算電路、求和電路和激活函數電路，其中，

所述卷積運算電路在所述中間層中接收用于進行卷積的輸入值Xi和權重Wi來進行卷積運算；所述求和電路求取通過卷積運算得到的各運算值和偏置W0的總和；所述激活函數電路用激活函數f(u)對求取總和得到的信號Y進行轉換，

所述卷積運算電路跳過權重Wi為零的權重來根據非零權重和與該非零權重對應的輸入值Xi進行卷積運算。

2.一種神經網絡電路裝置，是至少包括輸入層、輸出層和1層以上的中間層的神經網絡的電路裝置，

其特征在于，

所述中間層包括第1中間層和第2中間層，

所述神經網絡電路裝置具有卷積運算電路、求和電路和激活函數電路，其中，

所述卷積運算電路在所述第1中間層和所述第2中間層中接收用于進行卷積的輸入值Xi和權重Wi來進行卷積運算；所述求和電路求取通過卷積運算得到的各運算值和偏置W0的總和；所述激活函數電路用激活函數f(u)對求取總和得到的信號Y進行轉換，

所述第1中間層的所述卷積運算電路跳過三狀態{-多位，0，+多位}的權重Wi為零的權重來根據非零權重和與該非零權重對應的輸入值Xi進行卷積運算，

所述第2中間層的所述卷積運算電路跳過三值化{-1，0，+1}或者二值化{-1，+1}的權重Wi為零的權重來根據非零權重和與該非零權重對應的輸入值Xi進行卷積運算。

3.根據權利要求1所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路進行三狀態{-W(多位)，0，+W(多位}的權重Wi與輸入值Xi的卷積運算。

4.根據權利要求1所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路的所述權重Wi由下式表示：

[數學式3]

其中，

Whid：多位權重Wi

ρ：閾值。

5.根據權利要求1所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路進行三值化{-1，0，+1}的權重Wi與輸入值Xi的卷積運算。

6.根據權利要求1所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路進行二值化{-1，+1}的權重Wi與輸入值Xi的卷積運算。

7.根據權利要求1或2所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路具有第1存儲裝置和第2存儲裝置，其中，所述第1存儲裝置存儲非零權重和用于進行卷積的輸入值Xi的相對地址；所述第2存儲裝置存儲輸入值Xi的地址，

當進行跳過零權重的運算時，從所述第1存儲裝置讀取相應的非零權重及其相對地址，

根據讀取的相對地址和當前的地址，參照所述第2存儲裝置讀出用于進行下一卷積的輸入值Xi，

根據從所述第2存儲裝置讀出的輸入值Xi和相應的非零權重來進行卷積運算。

8.根據權利要求1或2所述的神經網絡電路裝置，其特征在于，

所述卷積運算電路具有第3存儲裝置，該第3存儲裝置存儲非零權重和用于進行卷積的輸入值Xi的絕對地址，

當進行跳過零權重的運算時，從所述第3存儲裝置指定絕對地址來讀出相應的非零權重和輸入值Xi，

根據讀出的輸入值Xi和相應的非零權重來進行卷積運算。

9.根據權利要求1或2所述的神經網絡電路裝置，其特征在于，

在反復進行學習的情況下，直到所述學習結束為止至少在所述中間層中不對所述權重Wi進行舍入處理，其中所述學習是指：計算在神經網絡中正向傳播得到的輸出與學習數據的誤差，且使該誤差在該神經網絡中反向傳播來更新所述權重Wi。