[發明專利]一種脈沖神經網絡儲備池計算模型構建方法及裝置

在審

• 申請號: 202211276694.2
• 申請日: 2022-10-19
• 公開（公告）號: CN115358375A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 黎溈安;楊冬平
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京志霖恒遠知識產權代理有限公司 11435
• 代理人: 戴莉

本發明公開一種脈沖神經網絡儲備池計算模型構建方法及裝置，包括構建脈沖神經元的膜電位動力學方程、脈沖神經網絡突觸可塑性的動力學方程和脈沖神經元膜電位動態時間尺度模型以及突觸動態時間尺度模型，并利用上述方程和模型構建基于脈沖神經元的脈沖神經網絡儲備池隱藏層。本發明提出了具有動態時間尺度和STD的脈沖神經網絡的儲備池的構建方法。這個模型能夠徹底解決了在記憶任務中模型的工作參數的魯棒性問題。本發明構建的具有動態時間尺度的基于脈沖神經網絡的儲備池模型，滿足參數量小，計算簡單，魯棒性強的優點，容易在神經擬態芯片中實現，高魯棒性使得芯片的性能不容易被影響，具有很好的應用前景。

技術領域

本發明涉及儲備池計算技術領域，特別涉及一種脈沖神經網絡儲備池計算模型構建方法及裝置。

背景技術

儲備池計算(RC，Reservoir Computing)是一種神經網絡的計算框架，由輸入層，一個隱藏層和一個讀出層組成，其中隱藏層是一個循環神經網絡，被稱為儲備池。儲備池內部是一個固定的、非線性的系統，具有動力學過程，可以將低維的輸入信號映射到高維空間進行表征。這個框架的一個好處是計算簡單，它的輸入權重和隱藏層連接權重隨機初始化且固定不變，只需要在讀出階段使用網絡中神經元的狀態，通過簡單的線性回歸算法來訓練一個讀出權重，可以很有效地降低計算成本。

RC被認為是在硬件平臺上實現有效計算的一種較好的算法。與傳統的循環神經網絡相比，RC內部的儲備池連接權重固定不變，不需要進行學習，只需要訓練一個讀出權重，這大大簡化了網絡的計算，使得RC在人工智能芯片上的應用變得簡單。回聲狀態網絡(ESN，Echo State Network)，是儲備池計算框架的一個經典應用，它在時間序列預測任務中具有很強大的性能，可以被應用于人工智能芯片中。然而，ESN具有一個很大的問題，其性能容易被網絡內部連接矩陣的特征值譜譜半徑SR影響。如果改變連接權重，導致SR偏離1，ESN的性能將災難性地下降，在這方面，ESN不具備良好的魯棒性。

不僅ESN模型存在著問題，傳統的AI(Artificial Intelligence)芯片也存在著一些限制。傳統的AI芯片，基于馮諾依曼架構，其中處理器和內存分開存放，運算時需要來回存放數據，會產生很大的功耗。同時芯片內部的處理器進行浮點數運算，也會產生很大的計算開銷。因此，越來越多人開始研究類腦計算，期望模擬人類大腦中神經元傳遞信息，以腦啟發的方式，來發展新一代人工智能芯片——神經擬態芯片。

人類的大腦中具有大量的神經元，這些神經元之間通過發放脈沖來進行異步通信。當脈沖到達神經元后，神經元的電壓會上升，當電壓超過閾值，神經元就會發放一個脈沖傳遞給下游的神經元，神經元之間通過突觸連接構成網絡。人類大腦的運行方式，與當前基于馮諾依曼架構的人工神經網絡芯片的運行方式完全不同。因此，研究基于脈沖神經元的神經擬態芯片，是通向更高級智能的關鍵。

在神經擬態芯片中，信息的存儲與處理是統一的，神經元的膜電位以及突觸的更新，不需要從內存中來回讀取數據再送入處理器中進行計算，這打破了AI芯片中存在的存儲墻的問題，計算速度大大提高。其次，神經擬態芯片中內置脈沖驅動的異步計算機制，神經元之間的通信是以獨立的脈沖事件來驅動的，這大大降低了芯片的功耗。不僅如此，這種以神經脈沖進行通信的方式，可以捕捉到時間上的信息，可以更高效地學習。

在邊緣計算的場景中，神經擬態芯片能夠發揮巨大的作用，比如自動駕駛、智能安防、探測機器人等。因此，開發一個高效且魯棒的、能夠適用于神經擬態芯片的神經網絡算法是非常重要的。基于脈沖神經網絡的RC模型，就是一個非常適用于神經擬態芯片的算法模型。

基于脈沖神經網絡的RC模型，內部的神經元由具有生物意義的泄漏-積分-發放的神經元(LIF，Leaky Integrate-and-Fire)神經元構成，神經元之間通過脈沖進行通信。由于脈沖的值只有0和1，且僅僅在事件發生的時候才具有脈沖，因此計算開銷很小，計算速度很快。