[發明專利]一種圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110779002.5
• 申請日: 2021-07-09
• 公開（公告）號: CN113378863A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 劉宇璽
• 申請（專利權）人: 上海商湯科技開發有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06F16/51;G06F17/16;G06F9/50;G06F9/54;G06T1/20;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質，所述方法包括：對目標圖像中的圖像特征進行提取，得到用于表征圖像特征的特征圖；通過多個第一線程計算特征圖和/或卷積核中的特征值的索引位置；控制多個第二線程按照所述索引位置讀取特征圖和/或卷積核中的特征值，并利用讀取到的所述特征值進行卷積處理，得到卷積特征，所述卷積特征用于表征對所述圖像特征的提取結果。本公開實施例可提高圖像處理中卷積操作的效率。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和存儲介質。

背景技術

圖形處理器(Graphics Processing Unit，GPU)作為硬件加速器在高性能計算領域得到廣泛的應用。特別是近幾年，GPU廣泛應用在人工智能(AI)領域，特別是深度學習領域。深度學習的訓練和推理過程中所要處理的海量數據由GPU來加速處理。

圖像的特征可以表征為矩陣的形式，矩陣中的每一個值表征圖像中相應位置的像素點，通過對矩陣進行矩陣乘累加操作，可以實現對矩陣的卷積。然而，相關技術中，卷積操作的效率有待提高。

發明內容

本公開提出了一種圖像處理技術方案。

根據本公開的一方面，提供了一種圖像處理方法，包括：

對目標圖像中的圖像特征進行提取，得到用于表征圖像特征的特征圖；

通過多個第一線程計算特征圖和/或卷積核中的特征值的索引位置；

控制多個第二線程按照所述索引位置讀取特征圖和/或卷積核中的特征值，并利用讀取到的所述特征值進行卷積處理，得到卷積特征，所述卷積特征用于表征對所述圖像特征的提取結果。

在一種可能的實現方式中，所述利用讀取到的所述特征值進行卷積處理，得到卷積特征，包括：

將讀取到的特征值在矩陣乘加運算MMA指令的通道K維度進行排列，進行矩陣乘加運算，得到卷積特征。

在一種可能的實現方式中，所述通過多個第一線程計算特征圖和/卷積核中的特征值的索引位置，包括：

按照各線程的標識ID的順序，控制各線程分別計算特征圖和/或卷積核中的特征值的索引位置。

在一種可能的實現方式中，在所述通過多個第一線程計算特征圖和/卷積核中的特征值的索引位置，所述方法還包括：

將所述索引位置的特征值加載到共享內存SMem中，以供各線程使用。

在一種可能的實現方式中，所述控制多個第二線程按照所述索引位置讀取特征圖和/或卷積核中的特征值，包括：

控制所述多個第二線程將索引位置處的特征值讀入到各自的寄存器中；

所述利用讀取到的所述特征值進行卷積處理，得到卷積特征，包括：

利用所述寄存器中的各個特征值進行卷積處理，得到卷積特征。

在一種可能的實現方式中，在所述對目標圖像中的圖像特征進行提取后，所述方法還包括：

確定單個線程束Warp中能夠處理的特征塊的多種第一尺寸，并基于所述第一尺寸生成用于進行特征塊劃分的圖形處理器核函數；其中，所述第一尺寸的最大值根據寄存器容量確定，所述第一尺寸的最小值為矩陣乘加運算指令計算的最小矩陣單元的尺寸，所述多種第一尺寸的值為所述最小值的倍數。

在一種可能的實現方式中，在所述對目標圖像中的圖像特征進行提取后，所述方法還包括：