[發(fā)明專利]類腦計(jì)算機(jī)中脈沖神經(jīng)網(wǎng)絡(luò)在硬件上的運(yùn)行部署方法

在審

• 申請?zhí)枺?/td>: 202210593127.3
• 申請日: 2022-05-27
• 公開（公告）號(hào): CN115081587A
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 潘綱;金歐文;李瑩;鄧水光;呂攀;楊國青
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開了一種類腦計(jì)算機(jī)中脈沖神經(jīng)網(wǎng)絡(luò)在硬件上的運(yùn)行部署方法，包括：根據(jù)底層類腦計(jì)算硬件限制，將脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)元進(jìn)行簇劃分后，以簇作為節(jié)點(diǎn)，根據(jù)簇之間的有向脈沖連接關(guān)系確定節(jié)點(diǎn)之間的連邊，以構(gòu)建有向圖；使用層次優(yōu)先的拓?fù)渑判蛩惴▽τ邢驁D進(jìn)行節(jié)點(diǎn)排序，以得到節(jié)點(diǎn)序列；對底層類腦計(jì)算硬件的計(jì)算核心按照希爾伯特空間填充曲線的順序進(jìn)行標(biāo)號(hào)，按照標(biāo)號(hào)將節(jié)點(diǎn)序列中的每個(gè)節(jié)點(diǎn)以一對一的方式分配到計(jì)算核心上，以形成初步映射方案；基于初步映射方案，采用力引導(dǎo)圖算法多次迭代優(yōu)化映射方案，以得到最終映射方案；依據(jù)最終映射方案實(shí)現(xiàn)神經(jīng)元到計(jì)算核心的映射分配。能夠提升類腦硬件計(jì)算效率、降低計(jì)算功耗。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)形態(tài)計(jì)算技術(shù)領(lǐng)域，具體涉及一種類腦計(jì)算機(jī)中脈沖神經(jīng)網(wǎng)絡(luò)在硬件上的運(yùn)行部署方法。

背景技術(shù)

脈沖神經(jīng)網(wǎng)絡(luò)被稱為第三代人工神經(jīng)網(wǎng)絡(luò)，以其“事件驅(qū)動(dòng)”的核心特征與生物可解釋性為亮點(diǎn)，正成為當(dāng)下人工智能研究的一大熱點(diǎn)。許多基于脈沖神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)應(yīng)用已經(jīng)被研究者們提出。

為高效研究與部署運(yùn)行脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用，許多神經(jīng)形態(tài)計(jì)算芯片或是類腦計(jì)算硬件平臺(tái)被設(shè)計(jì)并生產(chǎn)。這些新型類腦硬件架構(gòu)各異，芯片制造工藝、底層實(shí)現(xiàn)原理也不盡相同。但是它們都遵循著相同的設(shè)計(jì)理念來部署運(yùn)行脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用，即：

1)使用大量專門類腦計(jì)算核心來并行模擬神經(jīng)元?jiǎng)討B(tài)。

2)使用高密度的片上網(wǎng)絡(luò)組織方式實(shí)現(xiàn)計(jì)算核心之間的脈沖通信。

基于以上設(shè)計(jì)理念，類腦硬件可以實(shí)現(xiàn)高效率模擬運(yùn)行脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用。

為高效利用這些新型類腦硬件資源，需要將脈沖神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元映射到底層類腦硬件的計(jì)算核心上，而脈沖神經(jīng)網(wǎng)絡(luò)映射方案的優(yōu)劣將極大地影響類腦硬件的運(yùn)行效率與功耗。

不同于傳統(tǒng)多核系統(tǒng)任務(wù)映射問題，針對基于傳遞脈沖完成推理的脈沖神經(jīng)網(wǎng)絡(luò)端計(jì)算過程的脈沖神經(jīng)網(wǎng)絡(luò)映射一般建模為約束條件下的多目標(biāo)非線性規(guī)劃問題，需同時(shí)考慮芯片內(nèi)所有節(jié)點(diǎn)間脈沖傳遞的總功耗(也即通訊代價(jià))、最長脈沖傳輸距離、通信路由堵塞程度、映射方案求解耗時(shí)等多種指標(biāo)。

針對脈沖神經(jīng)網(wǎng)絡(luò)的圖拓?fù)浣Y(jié)構(gòu)，映射算法一般分為兩個(gè)階段：1)對原脈沖神經(jīng)網(wǎng)絡(luò)先進(jìn)行劃分，重構(gòu)拓?fù)浣Y(jié)構(gòu)；2)為每個(gè)網(wǎng)絡(luò)分塊分配綁定至物理計(jì)算核心。由于求解給定優(yōu)化目標(biāo)下的最優(yōu)映射方案已經(jīng)被證明是一個(gè)NP-Hard問題，如何在芯片的硬件約束下使用較短時(shí)間找到近似解是技術(shù)難點(diǎn)所在。另一需要解決的問題是映射算法的可擴(kuò)展性，隨著需要部署的脈沖神經(jīng)網(wǎng)絡(luò)規(guī)模的增大與底層芯片計(jì)算核心數(shù)量增加、核心性能增強(qiáng)，映射問題的搜索空間將呈指數(shù)級(jí)增長，因此映射優(yōu)化算法需要具備極強(qiáng)的可擴(kuò)展性以應(yīng)對可能的超大規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)模型映射問題。

工業(yè)界中目前的映射算法和框架種類豐富，但多數(shù)為針對特定類腦硬件進(jìn)行的特定建模和優(yōu)化算法設(shè)計(jì)，因此缺少可移植性。同時(shí)，目前已有的映射算法缺少可擴(kuò)展性，在面對大規(guī)模網(wǎng)絡(luò)映射問題時(shí)，要么無法在可接受時(shí)間內(nèi)完成求解，要么獲得的解的質(zhì)量低下。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明的目的是提供一種類腦計(jì)算機(jī)中脈沖神經(jīng)網(wǎng)絡(luò)在硬件上的運(yùn)行部署方法，通過空間填充曲線與力引導(dǎo)圖尋找脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)元到底層類腦硬件的計(jì)算核心的最優(yōu)映射方案。

為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例提供的一種類腦計(jì)算機(jī)中脈沖神經(jīng)網(wǎng)絡(luò)在硬件上的運(yùn)行部署方法，包括以下步驟：

步驟1，根據(jù)底層類腦計(jì)算硬件限制，將脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)元進(jìn)行簇劃分后，以簇作為節(jié)點(diǎn)，根據(jù)簇之間的有向脈沖連接關(guān)系確定節(jié)點(diǎn)之間的連邊，以構(gòu)建有向圖；

步驟2，使用層次優(yōu)先的拓?fù)渑判蛩惴▽τ邢驁D進(jìn)行節(jié)點(diǎn)排序，以得到節(jié)點(diǎn)序列；

步驟3，對底層類腦計(jì)算硬件的計(jì)算核心按照希爾伯特空間填充曲線的順序進(jìn)行標(biāo)號(hào)，按照標(biāo)號(hào)將節(jié)點(diǎn)序列中的每個(gè)節(jié)點(diǎn)以一對一的方式分配到計(jì)算核心上，以形成初步映射方案；