[發(fā)明專利]一種面向片上神經網絡的突觸實現(xiàn)架構

有效

• 申請?zhí)枺?/td>: 202110056960.X
• 申請日: 2021-01-15
• 公開（公告）號: CN112784972B
• 公開（公告）日: 2022-10-11
• 發(fā)明（設計）人: 孫世春;金孝飛;陸啟明;章明;朱國權;郝康利;韓佩卿;凡軍海;馬德;朱曉雷;潘綱
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/063;G06F15/78
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發(fā)明屬于類腦計算芯片的神經突觸實現(xiàn)技術領域，涉及一種面向片上神經網絡的基于三級索引和存儲壓縮共享的突觸實現(xiàn)架構，突觸通過三級索引結構方式連接突觸前神經元和突觸后神經元，三級索引結構方式的連接信息和權重可存儲于突觸的存儲裝置中，或分配到突觸前神經元和突觸后神經元，所述突觸存儲裝置采用共享權重的壓縮存儲方式和基于場景的存儲空間共享機制。本發(fā)明能夠支持神經網絡拓撲結構的靈活配置并高效利用其存儲空間。

技術領域

本發(fā)明屬于類腦計算芯片的神經突觸實現(xiàn)技術領域，涉及一種面向片上神經網絡的基于三級索引和存儲壓縮共享的突觸實現(xiàn)架構。

背景技術

近年來“內存墻”與“功耗墻”效應日趨嚴重，傳統(tǒng)計算機所遵循的馮諾依曼體系結構正在面臨巨大的挑戰(zhàn)。在后摩爾時代，半導體行業(yè)迫切需要尋求新的架構與方法以滿足電子產業(yè)對不斷提高的計算性能和極低功耗的需求。隨著腦科學的發(fā)展，人們逐漸了解到人腦是一部極高能效的計算機，類腦計算應運而生。內存與計算單元合二為一，從根本上去除了經典馮諾依曼體系架構的“內存墻”問題。類腦計算的基本思路是將生物神經網絡的概念應用于計算機系統(tǒng)設計，針對智能信息處理的特定應用來提高性能與降低功耗。

脈沖神經網絡作為第三代神經網絡具有高度的生物真實性，由于在真實世界學習的任務中展現(xiàn)出獨特優(yōu)勢，迅速成為類腦計算芯片研究熱點。但因為單個神經元的功能有限，只有數(shù)以百萬計的神經元協(xié)同工作才能在特定智能信息處理方面表現(xiàn)出獨特優(yōu)勢。因此實現(xiàn)脈沖神經網絡芯片神經元的大規(guī)模化仍然是一個核心問題。神經突觸用于表示脈沖神經網絡間的連接關系，包括連接拓撲、權重等信息，一種高效的突觸實現(xiàn)方式對于神經網絡拓撲結構的靈活可重構、神經元規(guī)模的靈活可擴展都非常重要。對于百萬級神經元的網絡拓撲，其連接數(shù)量龐大，對資源有限的芯片來說也是一個挑戰(zhàn)。

發(fā)明內容

為了解決現(xiàn)有技術中存在的上述技術問題，本發(fā)明提供了一種面向神經網絡的基于三級索引和存儲壓縮共享的突觸實現(xiàn)架構，其具體技術方案如下。

一種面向片上神經網絡的突觸實現(xiàn)架構，具體是：突觸通過三級索引結構方式連接突觸前神經元和突觸后神經元，三級索引結構方式的連接信息和權重可存儲于突觸的存儲裝置中，或分配到突觸前神經元和突觸后神經元，所述突觸存儲裝置采用共享權重的壓縮存儲方式和基于場景的存儲空間共享機制。

進一步的，所述突觸包括連接神經元輸出的軸突和連接神經元輸入的樹突，所述三級索引結構方式具體為：每個突觸前神經元的輸出可以通過第一級連接連接多個軸突，軸突再通過第二級連接連接多個樹突，最后樹突通過第三級連接連接多個突觸后神經元的輸入，其中所述第一級連接表示突觸前神經元選擇某個軸突輸出，通過存儲裝置存儲對應神經元編號和軸突編號的表，第二級連接表示該軸突與突觸后神經元的某個樹突相連，通過存儲裝置存儲對應軸突編號和樹突編號的表，第三級連接表示樹突連接并把信號送給某個突觸后神經元，通過存儲裝置存儲對應樹突編號和突觸后神經元編號的表。

進一步的，所述共享權重的壓縮存儲方式是：對于權重相同的神經元連接組，共用一組軸突和樹突，并分別通過索引偏移量和突觸后神經元編號區(qū)分軸突和樹突。

進一步的，所述突觸后神經元編號基于連續(xù)性壓縮支持一維、二維、三維乃至多維，或只共用樹突部分。

進一步的，神經元在推理和學習過程的推理和學習信息與所述的連接信息共享存儲裝置空間，所述基于場景的存儲空間共享機制是：根據(jù)應用場景來確定神經元推理信息空間和學習信息空間是否使用和使用量，然后動態(tài)劃分存儲裝置空間。

進一步的，所述動態(tài)劃分存儲裝置空間具體為：當神經元既推理又學習時，存儲裝置空間分為突觸信息空間、學習信息空間和推理信息空間，當神經元只推理不學習時，將學習信息空間劃分給突觸信息空間，推理信息空間不變，當神經元不推理不學習時，學習和推理信息空間都劃分給突觸信息空間。

本發(fā)明能夠支持神經網絡拓撲結構的靈活配置并高效利用存儲空間。

附圖說明