[發明專利]基于CMOS的神經元激活函數電路及神經元電路

有效

• 申請號: 202010501402.5
• 申請日: 2020-06-04
• 公開（公告）號: CN111652362B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 吳晨健;邢世威
• 申請（專利權）人: 蘇州大學
• 主分類號: G06N3/065
• 分類號: G06N3/065;G06N3/048
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 殷海霞

本發明公開了一種基于CMOS的神經元激活函數電路及神經元電路，包括輸入端；輸出端；輸入單元，連接所述輸入端；第一函數單元，連接所述輸入單元和所述輸出端，其被配置為當所述輸入端為正信號時，將所述輸入端的電流1:1傳遞至所述輸出端；第二函數單元，連接所述輸入單元和所述輸出端，其被配置為當所述輸入端為負信號時，將所述輸入端的電流1:k傳遞至所述輸出端，k為大于零小于1的參數。本發明基于CMOS的神經元激活函數電路及神經元電路，保留Relu函數所有技術優勢的同時，有效解決均值偏移、梯度消失和神經元死亡的問題，具有結構簡單、精度高，輸入信號范圍大的技術特點。

技術領域

本發明涉及一種基于CMOS的神經元激活函數電路，還涉及一種使用該激活函數電路的神經元電路。

背景技術

神經元電路廣泛應用于人工神經網絡電路以及各種基于人工神經網絡技術的電路中，神經元電路是組成人工神經網絡電路最基本的單元，主要作用是將從上一級傳遞的所有信號相加并經過特定的激活函數向下一級傳遞。作為人工神經網絡電路最基本的組成單元，神經元電路的信號疊加精度、可擴展性和激活函數的精度十分重要。數字電路和模擬電路均可實現神經元電路，隨著人工神經網絡的研究深入，傳統采用數字電路實現神經網絡的缺點也來越明顯，需要大量A/D、D/A、加法器、乘法器等，電路規模龐大、功耗和體積巨大，難以適應發展的需要。而基于模擬電路的神經元電路的信號以電流傳遞，具有結構簡單、功耗低、運算速度快的優勢，能顯著提高神經網絡的運算效率。

目前，基于模擬電路實現的神經元電路普遍使用Relu函數為激活函數，

其具有諸多技術優勢，比如，當x＞0時，梯度恒為1，無梯度耗散問題，收斂速度快，運算量小，訓練時間少；但，由于函數均值非0，存在均值偏移；同時，在前向傳導中，當x＜0時，其梯度為0，導致該神經元無法激活。

發明內容

本發明要解決的技術問題是提供一種基于CMOS的神經元激活函數電路及神經元電路，保留Relu函數所有技術優勢的同時，有效解決均值偏移、梯度消失和神經元死亡的問題，具有結構簡單、精度高，輸入信號范圍大的技術特點。

為了解決上述技術問題，本發明提供了一種基于CMOS的神經元激活函數電路，包括，

輸入端；

輸出端；

輸入單元，連接所述輸入端；

第一函數單元，連接所述輸入單元和所述輸出端，其被配置為當所述輸入端為正信號時，將所述輸入端的電流1:₁傳遞至所述輸出端；

第二函數單元，連接所述輸入單元和所述輸出端，其被配置為當所述輸入端為負信號時，將所述輸入端的電流1:k傳遞至所述輸出端，k為大于零小于1的參數。

本發明一個較佳實施例中，進一步包括所述輸入單元包括第一PMOS管、第一NMOS管；

第一PMOS管的源極連接第一電源端，其柵極連接其漏極，其漏極同時連接所述輸入端和第一NMOS管的漏極；

第一NMOS管的源極連接第二電源端，其柵極連接其漏極，其漏極同時連接所述輸入端和第一PMOS管的漏極。

本發明一個較佳實施例中，進一步包括所述第一函數單元包括第二PMOS管、第三PMOS管、第四PMOS管和第二NMOS管，

第二PMOS管的源極連接第一電源端，其柵極同時連接第一PMOS管的柵極和輸入端，其漏極同時連接第二NMOS管的漏極、第三PMOS管的漏極；

第二NMOS管的源極連接第二電源端，其柵極同時連接第一NMOS管的漏極、柵極和輸入端，其漏極同時連接第二PMOS管的漏極和第三PMOS管的漏極；