[發明專利]基于ReRAM神經網絡加速器的可調硬件感知的剪枝和映射框架

在審

• 申請號: 202110236303.3
• 申請日: 2021-03-03
• 公開（公告）號: CN112598129A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 何水兵;楊斯凌;陳偉劍;陳平;陳帥犇;銀燕龍;任祖杰;曾令仿;楊弢
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明提出了一種基于ReRAM神經網絡加速器的可調硬件感知的剪枝和映射框架，該剪枝和映射框架包括DDPG代理器和ReRAM神經網絡加速器；所述DDPG代理器由行為決策模塊Actor和評判模塊Critic組成，其中，行為決策模塊Actor用于對神經網絡做出剪枝決策；ReRAM神經網絡加速器用于映射行為決策模塊Actor產生的剪枝決策下形成的模型，并將此剪枝決策下的模型映射的性能參數作為信號反饋給評判模塊Critic；所述性能參數包括模擬器的能耗、延遲和模型準確率；評判模塊Critic根據反饋的性能參數更新獎勵函數值，并指導行為決策模塊Actor下一階段的剪枝決策；本發明方法利用強化學習DDPG代理來做出與硬件和用戶需求最匹配、最高效的剪枝方案，在保證準確率的同時，提升了硬件上延遲性能和能耗性能。

技術領域

本發明涉及計算機科學人工智能領域，尤其涉及一種針對基于ReRAM神經網絡加速器的可調硬件感知的剪枝和映射框架。

背景技術

深度神經網絡在計算機視覺、自然語言處理、機器人學等領域發展中起著重要的推動作用，隨著移動物聯網平臺的發展，IoT設備端的神經網絡應用迅猛發展。由于神經網絡的計算密集性和大量的數據移動性，神經網絡的應用會產生高能量消耗和高延遲，然而，IoT平臺上計算資源有限、能量支持有限，因此IoT設備需要更高效的神經網絡映射方案來降低能耗和延遲。電阻式隨機訪問存儲器(ReRAM)由于其極低的能量泄漏、高密度存儲和存內計算的特性，基于ReRAM的神經網絡加速器為IoT設備的局限性提供了解決思路。另一方面，由于目前大量的稀疏神經網絡模型越來越大，造成了大量不必要的資源浪費和延遲增加，在模型映射到ReRAM神經網絡加速器之前進行剪枝，可以極大地降低模型的大小，從而降低硬件能量消耗和應用的延遲。但是當ReRAM神經網絡加速器的硬件規格和種類不同時，而且面對用戶對于延遲、能耗等不同層次的需求時，傳統的深度學習剪枝方案無法感知硬件和用戶需求的變化而做出產生同一種剪枝方案，從而造成ReRAM神經網絡加速器硬件上模型映射的性能低效性，制約了ReRAM神經網絡加速器的性能優勢發展。

發明內容

為了根據移動設備用戶的需求而更加高效地探索在ReRAM神經網絡加速器上映射卷積神經網絡，本發明提出了一種可調的智能硬件感知剪枝和映射框架，利用強化學習代理從ReRAM神經網絡加速器硬件上得到的反饋（如延遲、能耗、能效等）來代替無法在硬件加速器性能上表現的信號（如模型大小、浮點操作次數等），使用深度確定性策略梯度（DDPG）來進行剪枝策略的搜索和決策，以實現基于ReRAM神經網絡加速器的更友好的剪枝策略的確定，降低剪枝后映射的神經網絡模型在硬件加速器上的延遲、能耗，從而使得可穿戴移動物聯網設備在有限資源限制下實現深度學習應用，并且根據硬件和用戶對延遲、能耗的需求不同，找到與之最適配的剪枝和映射框架。

本發明采用的技術方案是：

一種基于ReRAM神經網絡加速器的可調硬件感知的剪枝和映射框架，包括DDPG代理器和ReRAM神經網絡加速器；所述DDPG代理器由行為決策模塊Actor和評判模塊Critic組成，其中，所述行為決策模塊Actor用于對神經網絡模型做出剪枝決策；

所述ReRAM神經網絡加速器用于映射行為決策模塊Actor產生的剪枝決策下形成的模型，并將剪枝決策下的模型映射的性能參數作為信號反饋給評判模塊Critic；所述性能參數包括ReRAM神經網絡加速器的能耗、延遲和模型準確率；

所述評判模塊Critic用于根據反饋的性能參數更新獎勵函數值，評估行為決策模塊Actor的表現，并指導行為決策模塊Actor下一階段的剪枝決策使獎勵函數值收斂；

所述獎勵函數值根據用戶的需求來選擇通過Reward1（能耗）和/或Reward2（延遲）更新，已達到硬件中的實際性能表現：

Reward1=-Error×log(Energy)