[發(fā)明專利]脈沖神經(jīng)網(wǎng)絡(luò)推理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310288672.6
• 申請日: 2023-03-23
• 公開（公告）號: CN116523005A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 曹健;凌峰;王源;馬清川;鐘毅
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06N3/049
• 分類號: G06N3/049;G06N3/0464;G06N3/063;G06N5/04;G06N3/09
• 代理公司: 北京致科知識產(chǎn)權(quán)代理有限公司 11672
• 代理人: 魏紅雅

1.一種脈沖神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)，其特征在于，包括：前端部分和后端部分，

所述前端部分，用于將已訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為脈沖神經(jīng)網(wǎng)絡(luò)模型，并將所述脈沖神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為脈沖神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)定義的中間表示，以將所述脈沖神經(jīng)網(wǎng)絡(luò)模型部署在類腦芯片上執(zhí)行推理運算，所述中間表示為預(yù)先集成封裝在所述脈沖神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)中，用于采用字符串定義脈沖神經(jīng)網(wǎng)絡(luò)的層功能信息；

所述后端部分，用于將獲取的推理任務(wù)對應(yīng)的待處理對象轉(zhuǎn)換為類腦芯片支持的輸入幀，以及將類腦芯片根據(jù)輸入幀和部署的脈沖神經(jīng)網(wǎng)絡(luò)模型完成推理運算后的輸出幀進行解析，獲取任務(wù)處理結(jié)果。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述采用字符串定義脈沖神經(jīng)網(wǎng)絡(luò)的層功能信息，具體為：在所述中間表示中，脈沖神經(jīng)網(wǎng)絡(luò)模型的每一層采用一行字符串表示，該行字符串定義脈沖神經(jīng)網(wǎng)絡(luò)相應(yīng)層的層類別、層名稱、層的數(shù)據(jù)傳遞關(guān)系及層參數(shù)。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述層參數(shù)包括：輸入通道數(shù)、輸出通道數(shù)、膜電位閾值及時間步長。

4.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述層類別包括：SpikeConv層、SpikeLinear層和SpikePooling層。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述脈沖神經(jīng)網(wǎng)絡(luò)模型經(jīng)過量化和剪枝算法進行壓縮處理，且經(jīng)過多線程工具對算子內(nèi)的循環(huán)計算進行并行處理。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述前端部分包括：

模型轉(zhuǎn)換模塊，用于將已訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為脈沖神經(jīng)網(wǎng)絡(luò)模型；

中間格式轉(zhuǎn)換模塊，用于按照預(yù)設(shè)的模型轉(zhuǎn)換中間格式，將所述脈沖神經(jīng)網(wǎng)絡(luò)模型進行轉(zhuǎn)換，獲取中間格式轉(zhuǎn)換模型；

中間表示轉(zhuǎn)換模塊，用于將所述中間格式轉(zhuǎn)換模型轉(zhuǎn)換為所述中間表示。

7.根據(jù)權(quán)利要求1-6中任一項所述的系統(tǒng)，其特征在于，所述后端部分包括：

輸入轉(zhuǎn)換模塊，用于根據(jù)中間表示將獲取的推理任務(wù)對應(yīng)的待處理對象進行脈沖化處理，獲取脈沖化輸入數(shù)據(jù)，并將脈沖化輸入數(shù)據(jù)映射為類腦芯片支持的輸入幀；

類腦芯片，用于對輸入幀基于部署的脈沖神經(jīng)網(wǎng)絡(luò)模型進行推理得到輸出幀；

輸出轉(zhuǎn)換模塊，用于根據(jù)中間表示將類腦芯片推理運算后的輸出幀進行解析轉(zhuǎn)換為任務(wù)處理結(jié)果。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述輸入幀包括輸入數(shù)據(jù)和類腦芯片的地址信息，通過預(yù)先存儲地址信息的空間換時間方式進行優(yōu)化，以使實時的輸入數(shù)據(jù)結(jié)合地址信息通過預(yù)先配置的通信協(xié)議發(fā)送給類腦芯片。

9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述后端部分還包括：

預(yù)處理模塊，用于對獲取的推理任務(wù)對應(yīng)的待處理對象進行數(shù)據(jù)預(yù)處理；

后處理模塊，用于根據(jù)推理任務(wù)對應(yīng)的任務(wù)輸出需求將任務(wù)處理結(jié)果進行后處理；

所述輸入轉(zhuǎn)換模塊，具體用于將預(yù)處理結(jié)果進行脈沖化處理，獲取脈沖化輸入數(shù)據(jù)，并將脈沖化輸入數(shù)據(jù)映射為類腦芯片支持的輸入幀。

10.一種脈沖神經(jīng)網(wǎng)絡(luò)推理方法，其特征在于，包括：

獲取推理任務(wù)對應(yīng)的待處理對象；

根據(jù)中間表示將所述待處理對象轉(zhuǎn)換為類腦芯片支持的輸入幀；

根據(jù)被部署的中間表示的脈沖神經(jīng)網(wǎng)絡(luò)模型對輸入幀執(zhí)行推理運算，所述中間表示為預(yù)先集成封裝在所述脈沖神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)中，用于采用字符串定義脈沖神經(jīng)網(wǎng)絡(luò)的層功能信息，所述脈沖神經(jīng)網(wǎng)絡(luò)模型由已訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換得到；

對推理運算后的輸出幀進行解析轉(zhuǎn)換為任務(wù)處理結(jié)果。