[發(fā)明專利]一種基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202110053641.3
• 申請日: 2021-01-15
• 公開（公告）號: CN112784976A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 郭宇灝;鄭煥亮;楊星宇;肖山林;虞志益
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06K9/62
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 常柯陽

本發(fā)明公開了一種基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)及方法，系統(tǒng)包括上位機、片外存儲、總控制模塊、輸入編碼模塊、LIF神經(jīng)元模塊、脈沖時間信息處理模塊、TSTDP模塊和全投票模塊。方法包括：訓(xùn)練階段：訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)的輸入層和隱藏層、隱藏層和隱藏層、隱藏層和輸出層之間的突觸權(quán)重；對標階段：訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)的輸出層和全投票分類層之間的突觸權(quán)重；識別階段：輸出層采用全投票機制給全投票分類層投票，進行圖像識別。本發(fā)明提出一種減少信息丟失的全投票輸出解碼機制，有效改善傳統(tǒng)投票機制給脈沖神經(jīng)網(wǎng)絡(luò)帶來的輸出解碼信息丟失的問題。本發(fā)明可廣泛應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)和數(shù)字電路設(shè)計技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)和數(shù)字電路設(shè)計技術(shù)領(lǐng)域，尤其涉及一種基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)及方法。

背景技術(shù)

近年來，人工智能已經(jīng)觸及人們生活的方方面面，在圖像識別、語音識別、目標檢測等方面都取得了佳績，也因此受到了研究者們的廣泛關(guān)注。然而，傳統(tǒng)的第一、二代人工神經(jīng)網(wǎng)絡(luò)僅是從物理結(jié)構(gòu)上抽象簡化地模擬生物大腦的結(jié)構(gòu)，與大腦處理信息的生物機制并不完全吻合。傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)更偏向從計算科學(xué)的視角來提高神經(jīng)網(wǎng)絡(luò)的性能，通過增加網(wǎng)絡(luò)深度來提升網(wǎng)絡(luò)提取特征的能力，這不可避免地使得神經(jīng)網(wǎng)絡(luò)的參數(shù)和神經(jīng)網(wǎng)絡(luò)的運算量呈數(shù)量級增長，給神經(jīng)網(wǎng)絡(luò)處理器的性能帶來了極大的挑戰(zhàn)。

脈沖神經(jīng)網(wǎng)絡(luò)作為第三代人工神經(jīng)網(wǎng)絡(luò)，更具有生物仿生性，不僅從生物科學(xué)的視角來模擬生物大腦的物理結(jié)構(gòu)，還模擬了大腦神經(jīng)元處理脈沖序列的生物機制，將時間維度引入到脈沖信息處理當(dāng)中，被納入到類腦計算領(lǐng)域。脈沖神經(jīng)網(wǎng)絡(luò)利用離散的脈沖序列來編碼信息，該特性決定了脈沖神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)無需進行復(fù)雜的矩陣乘法運算，因此相比傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，脈沖神經(jīng)網(wǎng)絡(luò)具有低資源開銷和低功耗的特點。

基于頻率編碼的脈沖神經(jīng)網(wǎng)絡(luò)通常采用投票機制進行輸出解碼，而傳統(tǒng)的投票機制是每個輸出神經(jīng)元只會和一個分類神經(jīng)元進行連接，在識別階段每個輸出神經(jīng)元只會給它所對應(yīng)的某一個類別的分類神經(jīng)元發(fā)射脈沖，作為它對待識別圖像的類別投票。最終，獲得票數(shù)最多的分類神經(jīng)元所對應(yīng)的類別，即為脈沖神經(jīng)網(wǎng)絡(luò)的識別結(jié)果。傳統(tǒng)投票機制的關(guān)鍵在于確定輸出神經(jīng)元和分類神經(jīng)元的連接關(guān)系，其連接關(guān)系的確定，是根據(jù)在訓(xùn)練階段輸出神經(jīng)元對所有訓(xùn)練樣本的圖像類別的響應(yīng)，響應(yīng)最高的圖像類別會分配給該輸出神經(jīng)元，即該類別對應(yīng)的分類神經(jīng)元會與該輸出神經(jīng)元進行連接。然而，傳統(tǒng)的投票機制存在解碼信息丟失的弊端，因為輸出神經(jīng)元可能會對某幾個圖像類別都會產(chǎn)生強烈的響應(yīng)，而不是只對某一個圖像類別做出響應(yīng)。因此，需要考慮更符合生物大腦工作機制的輸出解碼方式，而非人為地根據(jù)輸出神經(jīng)元對訓(xùn)練樣本的圖像類別的最高響應(yīng)，來確定輸出神經(jīng)元和分類神經(jīng)元的連接關(guān)系。

目前脈沖神經(jīng)網(wǎng)絡(luò)的實現(xiàn)更多的是基于高度可編程性的軟件平臺，其處理器架構(gòu)并不能很好地發(fā)揮出脈沖神經(jīng)網(wǎng)絡(luò)大規(guī)模并行性的特點，以至于軟件平臺處理速度緩慢，功耗成本高。而專用集成電路雖具有高性能、低功耗的優(yōu)勢，但其靈活性弱、開發(fā)周期長的缺點并不利于脈沖神經(jīng)網(wǎng)絡(luò)的研究。因此，設(shè)計一個可充分利用并行性和靈活配置網(wǎng)絡(luò)參數(shù)的硬件系統(tǒng)能有效推動脈沖神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用。

脈沖神經(jīng)網(wǎng)絡(luò)仿生性的實現(xiàn)需要涉及大量復(fù)雜的微分、指數(shù)等運算，更偏向適合生物科學(xué)領(lǐng)域的研究，而在圖像識別等具體實際應(yīng)用上會給硬件平臺增加過多的額外開銷。因此結(jié)合生物科學(xué)和計算科學(xué)的視角，在硬件系統(tǒng)上對脈沖神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化，對脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用前景顯得非常重要。

發(fā)明內(nèi)容

為至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，本發(fā)明的目的在于提供一種基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)及方法。

本發(fā)明所采用的技術(shù)方案是：

一種基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)，包括：

上位機，用于控制圖像識別系統(tǒng)的工作狀態(tài)，統(tǒng)計圖像識別系統(tǒng)的圖像識別準確率，并顯示最終的識別結(jié)果；

片外存儲，用于存儲圖像像素、對標數(shù)據(jù)集標簽以及圖像識別系統(tǒng)圖像識別的結(jié)果；