[發明專利]一種適用于殘差網絡結構的Eltwise層前向推理運算方法

在審

• 申請號: 202210502066.5
• 申請日: 2022-05-10
• 公開（公告）號: CN114595808A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 陸金剛;方偉
• 申請（專利權）人: 浙江芯昇電子技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京華訊知識產權代理事務所(普通合伙) 32413
• 代理人: 劉小吉

本發明提供一種適用于殘差網絡結構的Eltwise層前向推理運算方法，其特征在于，包括以下步驟：搜尋殘差網絡中的殘差子網絡；決定該殘差子網路的分支與輸入到該Eltwise層的輸入數據；將該Eltwise層及與其對接的分支輸入數據等價轉換成一單一卷積層；完成整個殘差網絡中的殘差子網絡搜索后輸出結果。

技術領域

本發明涉及卷積神經網絡技術領域 ，尤其涉及一種適用于殘差網絡結構的Eltwise層前向推理運算方法。

背景技術

殘差網絡(Resnet；Residual Neural Network，殘差神經網絡)結構憑借其在圖像分類、目標檢測及圖像分割等方面的優異表現，越來越廣泛的應用于安防、醫療、自動駕駛等領域。殘差網絡采用網絡中增加殘差子網絡的方法，有效解決了網絡深度增加到一定程度更深的網絡堆疊效果反而變差的問題。殘差網絡提出了如圖1、2所示的兩種殘差子網絡結構，并反復堆疊使用。

兩種殘差子網絡結構中除了使用常規的卷積層（Convolution，因為Batch Norm和Scale可以與卷積層合并，因此后續的Convolution+Batch Norm+Scale組合模式統一簡稱為卷積層）和ReLU層外，最大特點是使用了Eltwise層將各個分支進行點相加（SUM）操作。Eltwise層主要支持PRODUCT（點相乘）、SUM（點相加）和MAX（點取最大值）等三種操作，Eltwise層的所有輸入分支必須確保在是特征圖寬度（Width）、特征圖高度（Height）及特征圖數量（Channels）上完全一致。

針對Eltwise層，目前CNN前向計算硬核一般存在以下兩種處理方式：

（1）將Eltwise層設計成一個完全獨立的CNN硬核實現層：每個分支的輸入需預先計算好，并保存到外部存儲設備的不同地址空間中，外部存儲設備可以為DDR（Double DataRate，雙倍速率同步動態隨機存儲器)，然后將每個分支對應的計算結果從外部存儲設備中讀回，進行Eltwise層的計算后再輸往外部存儲設備，由外部存儲設備進行存儲該類方法的缺點是：不僅需要設計專門的Eltwise層功能硬件，而且需要損耗大量的帶寬及存儲器資源，嚴重拖慢殘差網絡前向推理計算速度。

（2）根據Eltwise層計算特點，對整個CNN前向計算硬核進行針對性設計：如專利《一種圖像處理裝置及方法》（公開號：CN108074211A）中所述，將整個CNN前向計算硬核設計成支持塊運算方式，并且在硬件模塊內部專門設置“內部緩存裝置”，可以在使Eltwise層計算過程與CNN通用層計算過程并行的基礎上，通過省去Eltwise層運算輸入數據的讀取以節省帶寬和存儲器資源。該類方法的缺點是：仍需要設計專門的Eltwise層功能硬件；而且由于需要對CNN前向計算硬核進行專門性設計，導致CNN前向計算硬核設計復雜度及難度加劇；同時由于需要放置“內部緩存裝置”，導致CNN前向計算硬核面積也會有所上升。

因此，如何提供一種適用于殘差網絡結構的Eltwise層前向推理運算方法，可節省帶寬資源并提高殘差網絡前向推理計算效率，實乃本領域的重要課題。

發明內容

為了解決上述技術問題，本發明提供一種適用于殘差網絡結構的Eltwise層前向推理運算方法，其特征在于，包括以下步驟：

搜尋殘差網絡中的殘差子網絡；

決定該殘差子網路的分支與輸入到該Eltwise層的輸入數據；

將該Eltwise層及與其對接的分支輸入數據等價轉換成一單一卷積層；

完成整個殘差網絡中的殘差子網絡搜索后輸出結果。

優選地，其中輸入數據為卷積層運算的輸出結果。

優選地，其中輸入數據包括一無卷積運算分支及多個卷積層運算的輸出結果。

優選地，其中該無卷積運算分支等價轉換為一虛擬卷積層運算的輸出結果。