[發明專利]圖像處理方法、裝置、電子設備、存儲介質和程序產品

在審

• 申請號: 202111164668.6
• 申請日: 2021-09-30
• 公開（公告）號: CN113935933A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 梁子豪;歐陽劍;漆維;王京
• 申請（專利權）人: 昆侖芯（北京）科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳;辛鳴

本公開提供了一種圖像處理方法、圖像處理裝置、電子設備、存儲介質和程序產品，可以用于人工智能領域，特別是圖像處理領域等領域中。該方法包括：獲取輸入圖像，輸入圖像包括多個通道，多個通道中的每個通道包括多個像素點；針對輸入圖像的每個通道，使用多個專用處理單元并行地執行像素提取，以得到針對每個通道的每個對應像素點的像素點數據；以及將針對每個通道的每個對應像素點的像素點數據拼接，以得到輸出圖像。利用上述方法，可以靈活支持各種規模輸入圖像的格式處理，能夠充分利用硬件的并行性特點，高效地進行像素提取，從而可以支持高效的權重梯度計算，能夠提升整體計算過程的吞吐率，并且因此能夠提升用戶體驗。

技術領域

本公開涉及計算機技術，并且更具體地，涉及圖像處理方法、圖像處理裝置、電子設備、計算機可讀存儲介質和計算機程序產品，可以用于人工智能領域，特別是圖像處理領域等領域中。

背景技術

如今深度學習已經被廣泛應用。伴隨著模型的多樣化以及對算力需求的提升，考慮到原有的深度學習硬件平臺中的例如通用處理器、圖形處理單元等的性能、成本等因素，業界紛紛開始自研深度學習加速器。

卷積層是神經網絡中極為常見的層。在卷積層的前向計算中，需要若干個卷積核在輸入圖像上進行卷積操作。一種常見的實現方法是對輸入圖像進行im2col操作，這樣卷積操作就能轉化為矩陣乘法。而在訓練過程中，還需要反向計算，需要根據當前層的輸出圖像梯度，計算出當前層的權重梯度和輸入圖像梯度，并依次向前層傳播。權重梯度的求解方法為輸出圖像梯度乘以im2col操作之后的輸入圖像。硬件計算時為了獲取高吞吐率，需要將該維度整理成連續數據并輸出到矩陣運算單元，等同于進行im2col操作和transpose操作。

然而，傳統技術中的用于反向權重梯度計算的技術效率較低，難以滿足用戶的需求。

發明內容

根據本公開的實施例，提供了一種圖像處理方法、圖像處理裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

在本公開的第一方面中，提供了一種圖像處理方法，包括：獲取輸入圖像，輸入圖像包括多個通道，多個通道中的每個通道包括多個像素點；針對輸入圖像的每個通道，使用多個專用處理單元并行地執行像素提取，以得到針對每個通道的每個對應像素點的像素點數據；以及將針對每個通道的每個對應像素點的像素點數據拼接，以得到輸出圖像。

在本公開的第二方面中，提供了一種圖像處理裝置，包括：獲取模塊，被配置為獲取輸入圖像，輸入圖像包括多個通道，多個通道中的每個通道包括多個像素點；第一計算模塊，被配置為針對輸入圖像的每個通道，使用多個專用處理單元并行地執行像素提取，以得到針對每個通道的每個對應像素點的像素點數據；以及拼接模塊，被配置為將針對每個通道的每個對應像素點的像素點數據拼接，以得到輸出圖像。

在本公開的第三方面中，提供了一種電子設備，包括至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中存儲器存儲有可被至少一個處理器執行的指令，該指令被至少一個處理器執行，以使至少一個處理器能夠實現根據本公開的第一方面的方法。

在本公開的第四方面中，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機實現根據本公開的第一方面的方法。

在本公開的第五方面中，提供了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時，執行根據本公開的第一方面的方法。

利用根據本申請的技術，提供了一種適用于HWC格式卷積層權重梯度計算中輸入圖像數據處理的方法，利用該方法的技術方案，可以靈活支持各種規模輸入圖像的格式處理，能夠充分利用硬件的并行性特點，高效地進行像素提取，從而可以支持高效的權重梯度計算，能夠提升整體計算過程的吞吐率，并且因此能夠提升用戶體驗。

應當理解，發明內容部分中所描述的內容并非旨在限定本公開的實施例的關鍵或重要特征，亦非用于限制本公開的范圍。本公開的其它特征將通過以下的描述變得容易理解。