[發明專利]基于圖案的卷積神經網絡剪枝方法及圖案感知加速器

有效

• 申請號: 202010130327.6
• 申請日: 2020-02-28
• 公開（公告）號: CN111368699B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 譚展宏
• 申請（專利權）人: 交叉信息核心技術研究院（西安）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F9/50;G06V10/82;G06N3/0464;G06N3/063;G06N3/082
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 李宏德

本發明基于圖案的卷積神經網絡剪枝方法及圖案感知加速器，首先提出了基于圖案的卷積神經網絡(PCNN)的濾波器，基于多背包框架實現濾波器內的規則剪枝，能夠與現有剪枝方法正交，其與細粒度稀疏性相似，但在一定程度上仍保持一定的規則性。在每一層中，我們將濾波器中非零的數量限制為相同，使得不同卷積窗口的計算工作負載可以相同。基于濾波器中的均勻稀疏性比，一層中的圖案類型非常有限。利用具有非常少的位的圖案掩碼和相應的非零序列來描述濾波器，而不是描述所有的值，顯著地減小內存大小和計算量，對精確度和硬件都十分友好。且與濾波器剪枝等其它剪枝方法能夠正交，PCNN的剪枝方法可以實現達9倍權值剪枝，且精確度損失可以忽略不計。

技術領域

本發明涉及卷積神經網絡的方法和硬件優化，具體為基于圖案的卷積神經網絡剪枝方法及圖案感知加速器。

背景技術

神經網絡是目前人工智能領域最重要的算法之一，它可以廣泛應用于人臉識別、自驅動和保健等領域。傳統上，神經網絡由三個不同的層組成，包括卷積層、池化層和全連接層，分別實現特征提取、降采樣和分類功能。隨著網絡架構的發展，卷積層已成為計算和存儲的主要瓶頸。因此，為了以更低的開銷將人工智能帶給各個領域，迫切需要解決大量的計算和參數。

卷積神經網絡(CNN)在諸如圖像分類、對象檢測和自然語言處理等許多應用中得到迅速發展。現有技術中，提高精確度的一個趨勢是增加模型容量，但是伴隨而來的，工作負載(內存訪問損耗)和參數分別增加了超過100億和6千萬。結果，像CPU這樣的傳統嵌入式計算平臺不足以處理如此大量的數據。對于具有大量并行單元的邊緣設備，提出了用于神經網絡的在ASIC或FPGA上實施的許多加速器。

雖然這些加速器可以提升吞吐量，但是將片外數據從DRAM移到片上存儲以及處理大量的計算仍然是非常具有挑戰性的。已經提出了各種方法來進一步減輕存儲和計算負擔，包括低秩因子分解、量化和知識蒸餾。另一種有效的方法是權值剪枝，其可以顯著減小模型尺寸。然而，早期研究中提出的方法隨機地剪枝權值(稱為不規則剪枝)，這要求稀疏的模型以稀疏列壓縮(CSC)格式的變體存儲，導致相當多的額外索引(indices)來表示所有權值。此外，在高度并行的架構中，不同計算單元之間的工作負載的不平衡導致停頓或復雜的工作負載仲裁設計，阻礙了這些硬件充分利用權值剪枝的優點。

與不規則剪枝相比，規則剪枝對硬件更友好，包括通道剪枝、濾波器剪枝、卷積核/連接剪枝和形狀剪枝，如圖1所示。通道和濾波器剪枝分別用于深度方面相等的輸入通道和輸出通道，通道剪枝分別等同于針對輸入和輸出的濾波器剪枝。卷積核或連接剪枝的含義相同，即去除輸入和輸出通道之間的一些濾波器。并且形狀剪枝是剪枝相同位置的濾波器中的權值。規則剪枝已經探討了硬件友好性。探索不同的粒度，包括非規則稀疏性(0維)、向量級別的稀疏性(1維)、卷積核級別的稀疏性(2維)和濾波器級別的稀疏性(3維)。然而，可以觀察到，較高水平的稀疏性比較低水平的稀疏性對精確度的影響更大。總之，一方面，粗粒度的剪枝嚴重影響精確度，另一方面，細粒度的剪枝對硬件不友好，迫切需要找出更好的粒度。

剪枝的目的是為了去除冗余，而模型壓縮是去除原始模型中的冗余的有效的方法。模型壓縮涉及各種方法，包括參數剪枝和共享、低秩因子分解和知識蒸餾。剪枝方法是相當于外科醫生以去除對性能不敏感的神經網絡中固有的冗余神經元或突觸。通過在整個網絡中定位非信息性的權值，它可以輕松地將參數減少超過2倍，而精確度下降可以忽略不計。利用具有較少參數得低秩因子分解張量或矩陣降解來接近原始參數。知識蒸餾通過蒸餾大型神經網絡來訓練一個壓縮的較薄神經網絡。然而，因為知識蒸餾的基本思想是通過學習softmax輸出的類分布來從教師模型訓練緊湊模型，知識蒸餾只能應用于具有softmax損失函數的分類任務。與其它兩種壓縮方法相比，模型剪枝對各種設置享有更好的壓縮比和魯棒性。