[發(fā)明專利]一種面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器片上存儲壓縮方法

有效

• 申請?zhí)枺?/td>: 202110008963.6
• 申請日: 2021-01-05
• 公開（公告）號: CN112598119B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 王蕾;楊智杰;曲連華;龔銳;石偉;丁東;李石明;羅莉;鐵俊波;徐煒遐
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/04
• 代理公司: 北京權(quán)智天下知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11638
• 代理人: 張爽

本發(fā)明公開了一種面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器片上存儲壓縮方法，首先將神經(jīng)元的所有入度權(quán)值分成相等的組，之后所有非零權(quán)值傳輸?shù)教幚砥鞔鎯ζ髦邢鄳?yīng)的組里存儲，然后使用高位地址生成標(biāo)簽，將一個權(quán)值與同組中其它權(quán)值區(qū)分開，和所有連接信息一并存儲，片上存儲器被組織為只讀組相聯(lián)緩存，在計(jì)算過程中，根據(jù)請求權(quán)值的索引，生成組號，訪問目標(biāo)組取出組中所有標(biāo)簽并與請求權(quán)值的標(biāo)簽進(jìn)行比較，本發(fā)明通過利用液體狀態(tài)機(jī)的稀疏性來壓縮存儲，可以降低處理器的功耗，也可以使單個處理器在不增加額外存儲的情況具有更多的邏輯神經(jīng)元以處理更復(fù)雜的任務(wù)，在不同權(quán)值數(shù)據(jù)寬度下，與無壓縮的實(shí)現(xiàn)相比，CSSAC最多可使處理器存儲減少14％?55％，功耗減少5％?46％。

技術(shù)領(lǐng)域

本發(fā)明涉及面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器片上存儲壓縮方法技術(shù)領(lǐng)域，具體為一種面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器中神經(jīng)元之間的連接的權(quán)值的片上存儲壓縮方法。

背景技術(shù)

脈沖神經(jīng)網(wǎng)絡(luò)和類腦處理器因其能模擬大腦神經(jīng)元的行為和高能效的特點(diǎn)而受到廣泛關(guān)注和迅速發(fā)展。作為脈沖神經(jīng)網(wǎng)絡(luò)的一種，液體狀態(tài)機(jī)在圖像識別和語音識別領(lǐng)域顯示出了巨大的潛力。因?yàn)槭褂靡后w狀態(tài)機(jī)來識別各種新型傳感器的輸出，例如動態(tài)視覺傳感器(DVS)和動態(tài)音頻傳感器(DAS)，所產(chǎn)生的脈沖序列是很契合的。新興傳感器能夠捕捉傳感器視野范圍內(nèi)的動態(tài)變化并以脈沖序列的形式進(jìn)行輸出，而液體狀態(tài)機(jī)可以直接處理這種脈沖序列。此外，與其它脈沖神經(jīng)網(wǎng)絡(luò)相比，液體狀態(tài)機(jī)的訓(xùn)練更簡單。液體狀態(tài)機(jī)包含輸入層，液體層和讀出層，而它的訓(xùn)練只涉及它的讀出層，并且讀出層一般是單層全連接層的結(jié)構(gòu)。此外，不同的讀出層可以共享同一個通用的負(fù)責(zé)數(shù)據(jù)預(yù)處理的水庫層，以完成不同的任務(wù)。

在像TrueNorth和Loihi這樣的類腦處理器中，所有的突觸和權(quán)值都保留在處理器上存儲，以支持不同種類的具有稠密或稀疏連接的脈沖神經(jīng)網(wǎng)絡(luò)的部署。然而，如果在類腦處理器上部署的網(wǎng)絡(luò)是稀疏的液體狀態(tài)機(jī)，則為權(quán)值和突觸預(yù)留的存儲是冗余的。它限制了固定面積的單處理器所能支持的液體狀態(tài)機(jī)邏輯神經(jīng)元的數(shù)量，從而影響了液體狀態(tài)機(jī)的處理能力和最佳精度。另外，在像TrueNorth這樣的神經(jīng)態(tài)處理器中，用于存儲的功耗是計(jì)算和通信的幾倍。因此,壓縮權(quán)值和突觸的存儲可以減少處理器功耗或在一個處理器上增加邏輯神經(jīng)元的數(shù)量而無需增加存儲空間。這對于單核類腦處理器處理更復(fù)雜的任務(wù)和研制下一代多核類腦處理器以模擬更大規(guī)模的生物神經(jīng)網(wǎng)絡(luò)是至關(guān)重要的。因此，亟待一種改進(jìn)的技術(shù)來解決現(xiàn)有技術(shù)中所存在的這一問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器片上存儲壓縮方法，它能夠開發(fā)和利用液體狀態(tài)機(jī)的稀疏性和魯棒性，其特點(diǎn)是不會引入太多的元數(shù)據(jù)開銷從而確保壓縮效果，也不會降低液體狀態(tài)機(jī)的精度或類腦處理器的性能，本發(fā)明還實(shí)現(xiàn)了一個使用CSSAC壓縮方法組織其存儲結(jié)構(gòu)的神經(jīng)元硬件電路，它既實(shí)現(xiàn)了面向液體狀態(tài)機(jī)的類腦處理器片上存儲壓縮，又可以完成液體狀態(tài)機(jī)計(jì)算，實(shí)驗(yàn)結(jié)果表明，在MNIST、NMNIST、DVS128手勢數(shù)據(jù)集上，在不同權(quán)值量化位寬下，CSSAC最多可使處理器存儲減少14％-55％，處理器功耗減少5％-46％，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種面向液體狀態(tài)機(jī)的神經(jīng)形態(tài)處理器片上存儲壓縮方法，包括以下步驟：

步驟一：生成并初始化一個液體狀態(tài)機(jī)網(wǎng)絡(luò)，訓(xùn)練它的讀出層的權(quán)值，直到網(wǎng)絡(luò)的準(zhǔn)確率收斂，之后保持讀出層的權(quán)值不變，隨機(jī)將一定比例的非零權(quán)值替換為液體層中的非零值，把這種操作定義為隨機(jī)擾動；

步驟二：對液體狀態(tài)機(jī)的液體層網(wǎng)絡(luò)進(jìn)行前述的隨機(jī)擾動實(shí)驗(yàn)，即按照一定的比例將網(wǎng)絡(luò)中神經(jīng)元的非零權(quán)值隨機(jī)替換為另一個非零值，這個比例稱為隨機(jī)擾動率,然后使用擾動后的網(wǎng)絡(luò)進(jìn)行推理測試，得到網(wǎng)絡(luò)的推理精度,通過嘗試不同的隨機(jī)擾動率，就可以獲得無精度損失下的最大隨機(jī)擾動率,這將作為之后確定壓縮空間的依據(jù)；