[發明專利]基于憶阻器的自供能設備及其脈沖神經網絡優化方法

在審

• 申請號: 202110110192.1
• 申請日: 2021-01-26
• 公開（公告）號: CN112949819A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 邱柯妮;李孟文;徐遠超;康旺
• 申請（專利權）人: 首都師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 靳雪華

本發明涉及人工智能技術領域，公開了一種基于憶阻器的自供能設備及其脈沖神經網絡優化方法。本發明在對憶阻器交叉陣列和脈沖神經網絡進行網絡分塊映射的基礎上，根據脈沖神經網絡的運行特點，對脈沖神經網絡的運行規模進行能量等級劃分，將脈沖神經網絡的運行模式調整為“閑置?部分激活?全激活”模式，可以利用環境能量等級預測的方法預測供能周期的能量等級變化，合理調整脈沖神經網絡的運行規模，挽救供能周期邊界處的未完成任務的進度，實現能量等級平滑過渡。應用本發明可以使得脈沖神經網絡的運行適應環境能量的變化，脈沖神經網絡在微弱的供能條件下依然能夠持續正常運行，提高了自供能設備上的脈沖神經網絡的吞吐率和能效。

技術領域

本發明涉及計算機與電子信息技術領域，尤其涉及基于憶阻器的自供能設備及其脈沖 神經網絡優化方法。

背景技術

人工神經網絡(Artificial Neural Network，簡稱ANN)，是由大量的處理單元(神經元) 互相連接而形成的復雜網絡結構，是對人腦組織結構和運行機制的某種抽象、簡化和模擬。 人工神經網絡以數學模型模擬神經元活動，是基于模仿大腦神經網絡結構和功能而建立的 一種信息處理系統。目前的人工神經網絡是第二代神經網絡，它們通常是全連接的，接收 連續的輸入值，輸出連續的輸出值。盡管當前人工神經網絡已經讓人類在很多領域中實現 了突破，但它們在生物學上是不精確的，目前并不能模仿生物大腦神經元的運作機制。

脈沖神經網絡(Spiking Neural Network，SNN)是第三代神經網絡，旨在彌合神經科 學和機器學習之間的差距，使用最擬合生物神經元機制的模型來進行計算。脈沖神經網絡 與目前流行的人工神經網絡和機器學習方法有著根本上的不同。脈沖神經網絡(SNN)使用脈沖——這是一種發生在時間點上的離散事件——而非常見的連續值。每個峰值由代表生物過程的微分方程表示出來，其中最重要的是神經元的膜電位。脈沖神經網絡的運行一般只有兩種工作狀態：完整激活狀態和閑置狀態，即系統存在一個啟動閾值，當提供的功率高于啟動閾值時，脈沖神經網絡開始工作；當功率低于啟動閾值時，脈沖神經網絡處于閑置狀態。

憶阻器交叉陣列是一個由兩層垂直交叉的金屬導線和憶阻器矩陣組成的電阻網絡。憶 阻器交叉陣列具有低功耗和高性能的特點，可以用于加速脈沖神經網絡中的矩陣乘加運 算。在利用憶阻器交叉陣列加速脈沖神經網絡時，數據以脈沖的形式存在使得模數轉換的 功耗得到降低。在人工神經網絡(ANN)中的計算是實值計算，實值計算中的數據由多位 二進制組成，而脈沖神經網絡中數據是以脈沖序列的形式存在的，脈沖實質上是一位二進 制數，使得用于脈沖神經網絡的憶阻器交叉陣列在進行模數轉換時需要轉換的數值的范圍 很小，降低了憶阻器交叉陣列的外圍電路的功耗，從而降低了系統功耗。

憶阻器交叉陣列模擬突觸連接的過程為：憶阻器與一個水平的位線和一個垂直的字線 組合形成憶阻器交叉陣列結構。交叉陣列中的每個交點都是一個存儲單元，網絡權值按憶 阻器電導配置。憶阻器交叉陣列具有天然的非易失性和并行處理的特點，既可以存儲大量 的數據，又可以進行大規模并行計算，實現了高效的存內計算，極大地減少了內存數據訪 問的次數，有效地緩解了存儲墻問題，并且可以用于加速脈沖神經網絡中的矩陣乘加運算。 如圖1所示，顯示了憶阻器交叉陣列中的點積操作。當進行乘加運算時，電信號V在水平 位線處輸入，通過每個交叉節點的輸出電流大小計算為I＝V*G，其中G表示運算節點電導， 輸出電流在垂直字線末端累加。

脈沖神經網絡作為第三代神經網絡與人工神經網絡存在很大的不同。在脈沖神經網絡 中，神經元之間通過脈沖組成的序列進行信息傳遞，而且脈沖序列利用脈沖之間的間隔編 碼信息，使得脈沖神經網絡能夠處理復雜的時空信息。在脈沖神經網絡中，脈沖神經元的 運行模式是事件驅動的，如果脈沖神經元在某個時刻或時間段內沒有脈沖進入，就會保持 待機閑置狀態，這個狀態下脈沖神經元的功耗幾乎為0，而在人工神經網絡運行時其所有 的神經元均處于激活狀態，使得同等規模的人工神經網絡的功耗比脈沖神經網絡高。