[發明專利]脈沖神經網絡中神經元的信號處理方法及該網絡訓練方法

有效

• 申請號: 202110808342.6
• 申請日: 2021-07-16
• 公開（公告）號: CN113255905B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 西克·薩迪克·尤艾爾阿明;邢雁南;魏德爾·菲利普;鮑爾·菲利克斯·克里斯琴
• 申請（專利權）人: 成都時識科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 汪阮磊

本發明公開了一種脈沖神經網絡中神經元的信號處理方法及該網絡訓練方法。不同于目前普遍使用的單脈沖機制，其被設計成多脈沖機制。該神經元的信號處理方法包括：接收步驟：至少一個所述神經元接收至少一路輸入脈沖序列；累積步驟：基于所述至少一路輸入脈沖序列加權求和，獲得膜電壓；激活步驟：當所述膜電壓超過閾值后，基于所述膜電壓與所述閾值的比值確定該神經元激發的脈沖的幅度。為解決日益增長的配置參數規模帶來的訓練算法耗時、低效問題，通過多脈沖機制、周期指數函數代理梯度、添加抑制神經元活躍程度作為損失等技術手段，實現了脈沖神經網絡高效訓練，仍能維持擬神態硬件低功耗，還帶來了精度、收斂速度提升等方面的技術效果。

技術領域

本發明涉及一種脈沖神經元，具體涉及一種脈沖神經網絡中神經元的信號處理方法及該網絡訓練方法。

背景技術

脈沖神經網絡（spiking neural network, SNN）是當前最佳的模擬生物神經工作原理的神經網絡。但是限于其內在的不連續性和非線性機制，很難為SNN構造出高效的監督學習算法，而這又是該領域一個十分重要的課題。脈沖生成函數是不可微分的，所以傳統標準的誤差反向傳播算法不能與SNN直接兼容。一種流行的途徑是使用代理梯度去解決這個問題，比如現有技術1:

現有技術1：Shrestha S B, Orchard G. Slayer: Spike layer errorreassignment in time[J]. arXiv preprint arXiv:1810.08646, 2018.

然而這類技術在每個時間步上僅支持單脈沖機制，對于諸如DVS數據等具有極高時間分辨率輸入的脈沖數據，使用單脈沖機制將導致極大的、不可承受的模擬時間步數量，這將會導致面對復雜任務時，尤其是面對日益增長的配置參數規模，單脈沖機制的網絡訓練方式將變得極其低效。

為了解決/緩解上述技術問題，本發明提出一種在一個模擬時間步上能產生多個脈沖的自動可微分脈沖神經元模型和訓練方法，該種模型/訓練方法能夠極大提升訓練效率。

發明內容

為提升脈沖神經網絡訓練效率，本發明通過如下方式實現該目的：

一種脈沖神經網絡中神經元的信號處理方法，該脈沖神經網絡包括若干層，每一所述的層包括若干所述的神經元，其特征在于，該信號處理方法包括如下步驟：

接收步驟：至少一個所述神經元接收至少一路輸入脈沖序列；

累積步驟：基于所述至少一路輸入脈沖序列加權求和，獲得膜電壓；

激活步驟：當所述膜電壓超過閾值后，基于所述膜電壓與所述閾值的比值確定該神經元激發的脈沖的幅度。

在某類實施例中：所述基于所述膜電壓與所述閾值的比值確定該神經元激發的脈沖的幅度，具體為：在單個模擬時間步，激發的脈沖的幅度與所述膜電壓與所述閾值的比值相關。

在某類實施例中：所述基于所述膜電壓與所述閾值的比值確定該神經元激發的脈沖的幅度，具體為：

在單個模擬時間步，激發的脈沖的幅度與單位脈沖幅度的比值，等于所述膜電壓與所述閾值的比值向下取整的值。

在某類實施例中：所述的基于所述至少一路輸入脈沖序列加權求和，獲得膜電壓，具體包括：基于后突觸電位核與每路輸入脈沖序列卷積后加權求和，獲得膜電壓。

在某類實施例中：所述的基于所述至少一路輸入脈沖序列加權求和，獲得膜電壓，具體包括：基于后突觸電位核與每路輸入脈沖序列卷積后加權求和，以及不應期核與所述神經元輸出脈沖序列的卷積，獲得膜電壓。

在某類實施例中：