[發明專利]脈沖神經網絡訓練方法、裝置以及終端

在審

• 申請號: 202211304460.4
• 申請日: 2022-10-24
• 公開（公告）號: CN115618923A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 陳旭;陳克林;楊軍民;梁龍飛
• 申請（專利權）人: 上海新氦類腦智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本發明的脈沖神經網絡訓練方法、裝置以及終端，通過脈沖神經網絡，根據輸入實值計算對應的輸出脈沖編碼；對所述輸出脈沖編碼進行脈沖解碼，以獲得輸出實值；基于誤差函數，根據所述輸出實值與所述輸入實值所對應的數據標簽計算當前網絡計算誤差，以供在未達到目標精度的情況下更新所述脈沖神經網絡的網絡參數。本發明在脈沖神經網絡訓練中所需的脈沖周期數少，模型精度比傳統方法高，同時訓練時間比常規的直接訓練方法短。

技術領域

本發明涉及數據處理領域，特別是涉及一種脈沖神經網絡訓練方法、裝置以及終端。

背景技術

深度神經網絡(DNN)研究近年來取得了飛速發展并得到初步應用。然而實現這樣的算法，通常需要消耗大量的算力。以YOLO-V3為例,在416*416像素分辨率輸入下，需要658.6億次的浮點計算。當輸入尺寸增長到608，則需要1406.9億次。

另一方面，脈沖神經網絡(SNN)近年來以其低功耗和更接近人腦的特點吸引了學術界和產業界的關注。在脈沖神經網絡中，樹突是接收脈沖的單元，軸突是發送脈沖的單元，一個神經元通過軸突連接到多個樹突，樹突和軸突的連接點稱為突觸。軸突發送脈沖后，所有和這一軸突有突觸連接的樹突會收到脈沖，進而影響到軸突下游神經元。神經元將來自多個軸突的脈沖加權相加并與當前的膜電壓累加，如果數值超過閾值，就向下游發送一個脈沖。脈沖神經網絡內傳播的是1比特的脈沖，脈沖的激活頻率比較低，并且只需要加減法運算，沒有乘法運算。相比于基于深度學習的神經網路，脈沖神經網絡功耗更低。

將深度神經網絡脈沖化轉成脈沖神經網絡，可以充分利用脈沖神經網絡的低功耗優勢。

除此之外，在很多實際工業場景條件下，用于訓練網絡的數據集往往不全面，訓練的網絡泛化能力較弱，加之運行時噪音較大，傳統神經網絡魯棒性相對較差。脈沖神經網絡因為其只傳遞脈沖的特性，在有限的信息量下盡可能地減小無關信息傳入到下一層，因此抗干擾能力與泛化能力往往更強。不同于ANN(人工神經網絡)模型，SNN模型的激活函數為階躍函數。因為過程中涉及到了階躍函數，其反向導數為沖擊奇異函數，其不可導的性質給訓練SNN提出了挑戰。

目前脈沖神經網絡主要采用兩種方法獲得，轉換法和直接訓練法。在“OptimalANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking NeuralNetworks”一文中，作者詳細敘述了如何采用轉換法將訓練好的ANN模型權重換算成對應的SNN權重。在“Going Deeper With Directly-Trained Larger Spiking Neural Networks”中提出了利用導數替換方式直接訓練SNN模型的流程。訓練過程中，將階躍函數的反向導數替換為sigmoid導數或者方波函數等，避免了奇異函數無法向后傳播的問題。

然而，轉換法由于其數學逼近的特性往往需要很多的脈沖周期(100)才能逼近ANN模型，模型在推理階段實時性差。直接訓練方法解決了轉換法脈沖周期數多的問題，但是訓練時間過長(對應ANN版本的很多倍)，在物體識別等回歸問題的場景下精度也偏低。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種脈沖神經網絡訓練方法，用于解決現有技術中出現的以上技術問題。

為實現上述目的及其他相關目的，本發明提供一種脈沖神經網絡訓練方法，包括：基于脈沖神經網絡，根據輸入實值計算對應的輸出脈沖編碼；對所述輸出脈沖編碼進行脈沖解碼，以獲得輸出實值；基于誤差函數，根據所述輸出實值與所述輸入實值所對應的數據標簽計算當前網絡計算誤差，以供在未達到目標精度的情況下更新所述脈沖神經網絡的網絡參數。

于本發明的一實施例中，所述脈沖神經網絡采用優化的LIF神經元模型；

其中，所述優化的LIF神經元模型計算方式包括：在所述LIF模型中Leaky-Integrate計算與Fire計算之間均插入批歸一化計算。