[發明專利]一種圖像處理裝置及方法

有效

• 申請號: 201711432333.1
• 申請日: 2017-12-26
• 公開（公告）號: CN108074211B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 陸金剛;方偉
• 申請（專利權）人: 浙江芯昇電子技術有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06T1/60
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種圖像處理裝置及方法，裝置包括：Eltwise層計算模塊，CNN通用層計算模塊和內部緩存模塊，CNN通用層計算模塊分別與Eltwise層計算模塊及內部緩存模塊連接；其中CNN通用層計算模塊對分支圖像數據進行CNN計算，確定第一計算結果，根據分支標識信息，判斷分支圖像數據是否為第一分支數據；如果是，采用第一計算結果對內部緩存模塊中緩存的數據更新；如果否，則將第一計算結果發送給Eltwise層計算模塊；Eltwise層計算模塊與內部緩存模塊連接用于根據內部緩存模塊中緩存的數據和第一計算結果，進行Eltwise計算，確定第二計算結果，減少了數據讀取寫出耗時，節省帶寬外部存儲器資源。

技術領域

本發明涉及芯片設計技術領域，尤其涉及一種圖像處理裝置及方法。

背景技術

隨著Resnet(Residual Neural Network，殘差神經網絡)網絡在圖像分類比賽方面的優異表現，Resnet及相關類Resnet卷積神經網絡重要性在深度學習學術界和工業界越來越受到重視。Resnet通過跨層(Skip-Layer)的方式，解決了梯度傳播的問題，并可以實現深度方面的多模型融合。Resnet中除了卷積、池化等通用CNN(Convolutional NeuralNetwork，卷積神經網絡)層外，大量使用Eltwise層以實現不同分支的合并及元素級操作，如圖1所示為34層Resnet中的一段，包括兩個分支的數據，其中3*3conv,64表示卷積計算，Eltwise表示Eltwise計算，使用Eltwise層分別對兩個分支的數據進行Eltwise計算并將最后一個分支的計算結果進行輸出。Caffe等深度學習工具采用4維數組用于存儲和交換數據，維度從低到高為width、height、channels、num，width和height可以簡單理解為圖像的寬度和高度，channels可以簡單理解為顏色通道RGB，num可以簡單理解為第幾幀數據。Eltwise層所有輸入分支的4個維度必須完全一致，主要支持3種操作：product(點乘)、sum(相加減)和max(取最大值)。

目前主流的CNN計算硬件對Eltwise層的計算缺乏友好支持：一種是完全不支持Eltwise層的計算，需通過額外的硬件設備，如GPU(Graphics Processing Unit，圖形處理器)芯片、DSP(Digital Signal Processing，數字信號處理)芯片等實現Eltwise層的計算；另一種是對每個分支的CNN層獨立進行計算，將每個分支的計算結果分別保存到外部存儲設備的不同地址空間中，外部存儲設備可以為DDR(Double Data Rate，雙倍速率同步動態隨機存儲器)，最后將每個分支對應的計算結果從外部存儲設備中讀回，進行Eltwise層的計算后再輸往外部存儲設備，由外部存儲設備進行存儲。

Resnet網絡在某一硬件平臺耗時分布如下表所示：