[發明專利]神經網絡電路裝置、神經網絡、神經網絡處理方法和神經網絡的執行程序

在審

• 申請號: 201880057412.5
• 申請日: 2018-09-18
• 公開（公告）號: CN111095301A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 中原啟貴
• 申請（專利權）人: 國立大學法人東京工業大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;蔣國偉

1.一種神經網絡電路裝置，是至少包括輸入層、輸出層和1層以上的中間層的神經網絡的電路裝置，

其特征在于，

具有邏輯電路部、求和電路部、批歸一化電路部和激活函數電路部，其中，

所述邏輯電路部在所述中間層中接收二值的輸入值xi和權重wi，且進行邏輯運算；

所述求和電路部求出所述邏輯電路部的輸出的總和；

所述批歸一化電路部通過擴大歸一化范圍且使中心位移的處理來修正由二值化導致的分布不平衡；

所述激活函數電路部用激活函數fsgn(B)對信號B進行轉換，其中所述信號B是對求出總和后的信號Y進行批歸一化得到的信號，

求出所述總和之后的信號Y由下述式表示：

【公式6】

其中，

γ為縮放系數；

β為位移值；

μ’_B為除去偏置的平均值；當設輸入值x0時的偏置值為w0，且設小批量的平均值為μ_B時，μ’_B為w0-μ_B；

σ²_B為小批量的方差值；

ε為常數。

2.根據權利要求1所述的神經網絡電路裝置，其特征在于，

求出所述總和之后的信號Y由下述式(4)表示的情況：

【公式4】

其中，

μ_B為小批量的平均值

輸入值x0＝1，根據此時的偏置值w0，將所述式(4)變形為下述式(5)：

【公式5】

并且，將從所述偏置值w0中減去所述小批量的平均值μ_B得到的值替換為所述μ’_B，使下述式(6)

【公式6】

成立。

3.根據權利要求1所述的神經網絡電路裝置，其特征在于，

具有偏置值輸入部，該偏置值輸入部用于輸入偏置值，

所述求和電路部求出所述邏輯電路部的輸出和所述偏置值的總和。

4.根據權利要求3所述的神經網絡電路裝置，其特征在于，

具有存儲部，該存儲部用于存儲所述偏置值，

所述偏置值輸入部讀出存儲于所述存儲部中的所述偏置值且將其輸出給所述求和電路部，并且在不使用所述偏置值時向所述求和電路部寫入0，據此執行下述式(6)的電路

【公式6】

5.根據權利要求3所述的神經網絡電路裝置，其特征在于，

具有開關，該開關用于接通或斷開所述偏置值向所述求和電路部的輸入，

在不使用所述偏置值時斷開所述開關，且執行下述式(6)的電路

【公式6】

6.根據權利要求1所述的神經網絡電路裝置，其特征在于，

所述邏輯電路部包括異或非或者異或。

7.一種神經網絡，其特征在于，

具有權利要求1至6中任一項所述的神經網絡電路裝置。