[發明專利]一種用于目標識別的卷積神經網絡及其識別方法

在審

• 申請號: 202110841212.2
• 申請日: 2021-07-23
• 公開（公告）號: CN113642419A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 維吉爾·賈瓦利亞克
• 申請（專利權）人: 上海亙存科技有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 上海震亞律師事務所 31403
• 代理人: 李秀蘭

本發明公開了一種用于目標識別的卷積神經網絡及其識別方法，涉及目標識別技術領域，本發明提出一種新型的硬件實現方式，針對卷積神經網絡數據流的新型的微結構和處理過程，在卷積神經網絡數據流的輸入層/輸出層采用磁性隨機存儲器記錄前輸入數據和輸出標簽，然后，通過比較輸入層上的新進數據和現存數據，僅更新和重算以事件驅動發生改變的子集。在復雜度/能量/電池壽命方面有高強度要求或限制的應用場景中，本發明所述的基于磁性隨機存儲器的事件驅動卷積神經網絡及其識別方法，具有各個方向上的高端性能，比如分辨率，工作頻率，數據吞吐量以及準確性，以及工作模式和待機模式下的低功耗。

技術領域

本發明涉及目標識別的圖像或視頻領域，尤其涉及一種用于目標識別基于磁性隨機存儲器的事件驅動卷積神經網絡。

背景技術

至今為止，目標識別存在多種解決方案和硬件實現方式，如GPU/CPU/DSP/基于MCU的芯片，以及基于神經網絡的專用硬件，如卷積神經網絡CNN或脈沖神經網絡SNN。基于推理的GPU或CPU是靈活可編程的，提供了目標識別較高的吞吐量/分辨率和準確度，然而，這些方案都受限于功率效率，從幾瓦到幾百瓦，不能達到幾毫瓦到幾十毫瓦的平均功率目標。具體來說，為了提高功率效率，必須使用專用的結構：

內嵌DSP的低功耗MCU可以提供很低的低功耗能力(如零點幾毫瓦)，為了保持這樣的功率效率，只能受限于處理低分辨率的圖像識別任務。雖然內嵌DSP的低功耗MCU可以提供較低的待機電流和可能的高頻率，但要以吞吐量和復雜度受限為代價。

卷積神經網絡CNN是高度并行的，分別處理輸入單元，是數字的且以同步的方式處理。現有的CNN數據流采用SRAM儲存輸入，輸出和中間結果。非易失性存儲器NVM，包括磁性隨機存儲器MRAM，能用來存儲深度神經網絡DNN模型的突觸權值和饋送(以只讀方式)，給處理單元進行乘加操作。然而，SRAM是易失的，而且待機狀態下有泄漏功耗。在一些高端的應用中，這樣的結構，如果不是花費大量的功耗，是無法從前次運行中保持數據的。唯一的解決辦法是關閉芯片進行重新計算，甚至在某些數據并沒有變化的場合，而且重新計算又再次帶來巨大的功耗。

脈沖神經網絡SNN是將信息通過脈沖序列編碼，使用異步邏輯(計算時不使用時鐘)，也就是，脈沖神經網絡從基本上來說，是事件驅動的，僅當變化發生時處理輸入。和卷積神經網絡一樣，脈沖神經網絡也是分別處理輸入單元(以網格方式)。這樣的結構在活動和待機狀態下都是高度節能的，并能提供高吞吐量，但是只能處理低分辨率和圖像識別的任務，準確度和可靠性，最高頻率也是受限的。和完成類似任務的數字芯片相比，脈沖神經網絡也在芯片面積上占用較多(由于使用模擬和異步技術)，而且脈沖神經網絡的可編程性也比較差。

內存內計算并不真的算本發明的現有技術，現有技術中已采用內存內計算技術來提高功耗效率，面積利用率和吞吐量。在圖像處理任務中，它可以替換模擬/數字神經元、CPU或DSP來進行乘加操作。

在上述現有技術中，現有技術的缺點是受限的功率效率，較低的功率效率限制了各類應用場景的復雜度，如低分辨率、低工作頻率、低數據吞吐量、低準確性以及低可靠性。同時，現有技術的高功耗(包括活動功耗和待機功耗)也限制了各類以電池為電源的應用場景。

在復雜度/能量/電池壽命方面有高強度要求或限制的應用場景中，這些問題限制了現有技術中的結構的運用。因此，本領域的技術人員致力于開發一種基于磁性隨機存儲器的事件驅動卷積神經網絡，使其具有各個方向上的高端性能，比如分辨率，工作頻率，數據吞吐量以及準確性，以及工作模式和待機模式下的低功耗。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題主要是如何處理功率隨著吞吐量/頻率/分辨率和準確度的提高而增加的問題，以及平均處理延遲隨著識別的復雜度/分辨率和準確度的提高而增加的問題。本發明將會聚焦在現有的卷積神經網絡的拓撲結構或脈沖神經網絡，內存內計算技術，MCU/DSP等的能量效率。