[發明專利]用于創建脈沖神經網絡的方法、設備和計算機程序

在審

• 申請號: 202010877946.1
• 申請日: 2020-08-27
• 公開（公告）號: CN112446468A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: T·普法伊爾;A·庫格勒
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫云漢;劉春元

本發明涉及一種用于創建脈沖神經網絡（英文Spiking Neural Network）的方法（10）。該方法開始于將可預先給定的控制模式（英文rollout pattern）分派給深度神經網絡。接著，在使用該控制模式的情況下對該深度神經網絡進行教導。接著，將該深度神經網絡轉換成該脈沖神經網絡，其中根據該控制模式來分別給該脈沖神經網絡的連接分配延遲。本發明還涉及一種用于實施該方法（10）的計算機程序和設備以及一種在其上存儲有該計算機程序的機器可讀存儲元件。

技術領域

本發明涉及一種用于通過將被教導的人工神經網絡轉換成脈沖神經網絡來創建該脈沖神經網絡的方法。本發明同樣涉及一種分別被設立為實施該方法的設備和計算機程序。

背景技術

可能的是使人工神經網絡完全并行地運行，如由作者Volker Fischer、Jan K?hler和Thomas Pfeil在他們的出版物“The streaming rollout of deep networks-towards fully model-parallel execution.”arXiv preprint arXiv:1806.04965（2018年）所示出以及在DE 20 2018 104 373 U1中所示出的那樣。

公知脈沖神經網絡（英文Spiking Neural Network，SNN）。脈沖神經網絡是人工神經網絡（英文Artifical Neural Network，ANN）的變體并且與生物神經網絡非常相似。就像在生物神經網絡中那樣，脈沖神經網絡的神經元并不是像在深度神經網絡中所執行的那樣在每個傳播周期（英文propagation cycle）中都開火（feuern），而是只有當膜電位超過閾值時才開火。如果脈沖神經網絡的神經元開火，則該神經元產生短脈沖（英文spike），該短脈沖傳遞到其它神經元，所述其它神經元又根據該脈沖來提高或降低所述其它神經元的膜電位。

脈沖神經網絡要花費高地被教導，因為短脈沖序列（英文spike trains）通過狄拉克（Dirac）函數來呈現，所述狄拉克函數不能以數學方式推導。

可能的是：將被教導的人工神經網絡轉換成被教導的脈沖神經網絡，如由作者Rueckauer Bodo、Lungu Iulia-Alexandra、Hu Yuhuang、Pfeiffer Michael、Liu Shih-Chii在他們的出版物“Conversion of Continuous-Valued Deep Networks to EfficientEvent-Driven Networks for Image Classification”《神經科學前沿》doi 10.3389/fnins.2017.00682（2017年）, https://doi.org/10.3389/fnins.2017.00682所示出的那樣。

本發明的優點

脈沖神經網絡在推理期間高效，因為可以在專用硬件上完全并行地實施脈沖神經網絡的層、尤其是神經元。然而，該優點在人工神經網絡、尤其是具有跨接連接（英文skip-/recurrent-connection）的人工神經網絡被轉換成脈沖神經網絡的情況下不能被充分利用。因為，如果具有跨接連接的人工神經網絡被轉變，則脈沖神經網絡只能按順序被實施、例如通過等待時鐘按順序被實施，但是這低效。

相對于脈沖神經網絡而言，人工神經網絡的區別還在于：人工神經網絡并不隨時間來整合信息，因為這些人工神經網絡針對每個傳播周期只立即處理并且緊接著轉發相應當前供支配的信息。也就是說，人工神經網絡將按順序運行，而脈沖神經網絡并行運行。