[發明專利]一種液體狀態機模型中通信的軟硬件聯合優化方法及系統

有效

• 申請號: 202110431290.5
• 申請日: 2021-04-21
• 公開（公告）號: CN113158567B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王蕾;王世英;康子揚;曲連華;李石明;劉威;張劍鋒;石偉;龔銳;馮權友;張英;勵楠
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/063;G06K9/62;G06F111/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種液體狀態機模型中通信的軟硬件聯合優化方法及系統，本發明包括在脈沖神經網絡(SNN)模擬器中對液體狀態機模型LSM進行訓練和推理，在訓練和推理過程中按照脈沖丟包率對液體狀態機模型LSM中傳輸的脈沖進行丟包，在完成訓練和推理后計算出分類準確率；若分類準確率滿足要求，則將液體狀態機模型LSM映射到片上網絡模擬器上仿真計算最大傳輸延遲，若最大傳輸延遲滿足要求則增加脈沖丟包率繼續迭代，直至找到最佳的脈沖丟包率。本發明在保證分類準確性的前提下，通過確定的脈沖丟包率不斷丟包，從而能夠降低類腦處理器中核間的數據包傳輸延遲，使得最終LSM在類腦處理器中運行時滿足類腦計算實時性的要求。

技術領域

本發明涉及優化液體狀態機網絡在基于片上網絡的類腦計算平臺上執行時的通信效率的方法，具體涉及一種液體狀態機模型中通信的軟硬件聯合優化方法及系統。

背景技術

脈沖神經網絡(SNN)也被稱為第三代神經網絡，是計算機科學與生物神經科學交叉而成的新興學科。相比于傳統的人工神經網絡(ANN)，SNN實現了更高級的生物神經模擬水平，更容易模擬人腦的低功耗、高性能的處理方式。脈沖神經網絡有以下特點：它里面的神經元是模擬的生物神經元；當神經元的膜電壓累積到一定程度，會發射Spike(脈沖)；它里面的神經元存在不應期；SNN具有魯棒性，丟失少量的spike對分類精度幾乎不產生影響。

液體狀態機模型(liquid state machine,LSM)是一種特殊的脈沖神經網絡模型，它主要分成三個部分：輸入層、液體層和輸出層，其結構如圖1所示。輸入層負責離散的脈沖輸入，其神經元和液體層中的神經元相連。液體層由脈沖神經元遞歸連接組成，突觸連接的方向和權值大小都是隨機的。輸出層由輸出神經元組成，主要是負責輸出液體層的結果。輸出層的神經元和液體層中的而每個神經元都相連。液體層的計算特點使得LSM能夠有效地處理時間序列。本專利所研究的SNN針對的是LSM。

類腦處理器指的是利用大規模集成電路系統來模擬神經系統中存在的神經生物學結構，具有低功耗、高并行、實時性等優勢。它們一般使用片上網絡來連接大量的神經元，然后SNN映射到類腦處理器中運行。類腦處理器主要由計算、存儲和互連三部分組成，其中計算和存儲主要集中在神經形態核內，片上網絡作為互連結構連接各個神經形態核，整個系統非常龐大復雜。一方面，SNN具有高扇出的特點，這會增加類腦處理器中核間的通信延遲，另一方面，類腦處理器中數據包在核間需要通過路由器進行路由通信，而Router的傳輸開銷比較大，這進一步加劇了通信延遲。而SNN為時間敏感型網絡，極大的通信延遲可能會使得SNN的功能出錯，正確性無法保證。因此，我們需要對SNN在類腦處理器中核間的通信進行優化。本發明就提出了一種優化方法。

LSM的模型與其他的脈沖神經網絡不同，LSM中的水庫層神經元不僅可以與其它神經元連接，而且連接自己。所以LSM中的連接更加密集。我們做了一個統計，首先初始化了一個LSM，并統計了其中水庫層中神經元的連接數量，結果如圖2所示。這里的LSM有1000個神經元，800個興奮神經元，200個抑制神經元。橫軸為連接的數量，縱軸為對應的神經元的數量。我們可以發現，每個神經元都連接了至少三分之一的其它神經元。也就是說，每個神經元放電時至少同時產生至少300個脈沖。在LSM中，一個前神經元連接了大量的后神經元(至少1/3)。當前神經元膜電壓超過閾值并且放電時，會產生和連接數量相同的數據包。因此，LSM網絡在神經形態處理器中運行時，會同時產生大量的數據包。這將導致核間的數據包擁塞并增加數據包傳輸延遲。當LSM網絡的規模更大時，這種情況會更加嚴峻。