[發明專利]脈沖神經網絡推理方法及系統

在審

• 申請號: 202310288672.6
• 申請日: 2023-03-23
• 公開（公告）號: CN116523005A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 曹健;凌峰;王源;馬清川;鐘毅
• 申請（專利權）人: 北京大學
• 主分類號: G06N3/049
• 分類號: G06N3/049;G06N3/0464;G06N3/063;G06N5/04;G06N3/09
• 代理公司: 北京致科知識產權代理有限公司 11672
• 代理人: 魏紅雅

本發明公開一種脈沖神經網絡推理方法及系統，其中脈沖神經網絡推理方法，包括：獲取推理任務對應的待處理對象；根據中間表示將所述待處理對象轉換為類腦芯片支持的輸入幀；根據被部署的中間表示的脈沖神經網絡模型對輸入幀執行推理運算，所述中間表示為預先集成封裝在所述脈沖神經網絡推理系統中，用于采用字符串定義脈沖神經網絡的層功能信息，所述脈沖神經網絡模型由已訓練的人工神經網絡模型轉換得到；對推理運算后的輸出幀進行解析轉換為任務處理結果。本發明使得用戶無需了解類腦芯片底層架構的情況下，也可以便捷地使用類腦芯片。

技術領域

本發明涉及脈沖神經網絡技術領域，尤其涉及一種脈沖神經網絡推理方法及系統。

背景技術

隨著人工智能的發展，基于神經網絡推理的智能產品越來越豐富，同時，神經網絡處理的任務類型及推理過程也越來越復雜，從而需要大量運算資源，這對高效快速運算且功耗低的人工智能產品需求來說是不利的。

脈沖神經網絡(Spiking?Neural?Network,簡稱SNN)借鑒人腦處理信息的機制，可以類似于人腦更加高效地進行信息處理，相比人工神經網絡(Artificial?NeuralNetwork，簡稱ANN)，基于脈沖神經網絡的類腦芯片具有低延時、低功耗的優點。為利用SNN這些優點，現有技術中通常采用ANN訓練模型，再通過ANN2SNN將已訓練的ANN模型轉換為SNN模型以執行推理計算任務。圖1為現有技術中脈沖神經網絡推理系統結構示意圖，如圖1所示，不同智能應用(如圖像分類、目標檢測等)的模型通過ANN2SNN轉換，和輸入(如圖像)一起輸入整體使用Python語言在PyTorch框架下完成推理流程，得到輸出。在這個推理系統中，用戶需要根據PAICORE芯片(一種類腦芯片)的相關技術文檔，通過自定義幀轉換及自定義通信協議的方式與PAICORE芯片完成信息傳遞，發送配置幀(用于定義模型功能)和輸入幀(用于給定輸入)驅動芯片完成神經網絡前向推理，再通過自定義幀解析的方式將結果解析為模型的輸出(如分類概率、檢測框等)。

在上述現有的脈沖神經網絡推理系統中，用戶需要了解類腦芯片的底層架構等相關技術并進行相應開發形成配置幀和輸入幀，這對用戶來說需要一定的技能，而且開發周期較長，使用便利性差，因此不利于基于脈沖神經網絡的類腦芯片的推廣使用。

發明內容

本發明提供一種脈沖神經網絡推理方法及系統，用以克服上述現有技術中存在的技術問題，使得用戶無需了解類腦芯片底層架構的情況下，也可以便捷地使用類腦芯片。

本發明提供的一種脈沖神經網絡推理系統，包括：前端部分和后端部分，

所述前端部分，用于將已訓練的人工神經網絡模型轉換為脈沖神經網絡模型，并將所述脈沖神經網絡模型轉換為脈沖神經網絡推理系統定義的中間表示，以將所述脈沖神經網絡模型部署在類腦芯片上執行推理運算，所述中間表示為預先集成封裝在所述脈沖神經網絡推理系統中，用于采用字符串定義脈沖神經網絡的層功能信息；

所述后端部分，用于將獲取的推理任務對應的待處理對象轉換為類腦芯片支持的輸入幀，以及將類腦芯片根據輸入幀和部署的脈沖神經網絡模型完成推理運算后的輸出幀進行解析，獲取任務處理結果。

本發明還提供一種脈沖神經網絡推理方法，包括：

獲取推理任務對應的待處理對象；

根據中間表示將所述待處理對象轉換為類腦芯片支持的輸入幀；

根據被部署的中間表示的脈沖神經網絡模型對輸入幀執行推理運算，所述中間表示為預先集成封裝在所述脈沖神經網絡推理系統中，用于采用字符串定義脈沖神經網絡的層功能信息，所述脈沖神經網絡模型由已訓練的人工神經網絡模型轉換得到；

對推理運算后的輸出幀進行解析轉換為任務處理結果。