[發明專利]圖像處理方法及裝置、神經網絡的訓練方法、存儲介質

有效

• 申請號: 202010010385.5
• 申請日: 2020-01-06
• 公開（公告）號: CN113076966B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 劉鼎;江亦凡;沈曉輝;方晨;楊建朝
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

一種基于神經網絡的圖像處理方法、圖像處理裝置、神經網絡的訓練方法以及存儲介質。該神經網絡包括循環解析網絡、合成網絡和疊加網絡，該圖像處理方法包括：使用神經網絡對輸入圖像進行處理，以得到輸出圖像。循環解析網絡的處理包括多個層級的逐層嵌套的解析處理；除了最后一個層級的解析處理外，每個層級的解析處理包括編碼處理、池化處理、標準上采樣處理和解碼處理；下一層級的解析處理嵌套在上一層級的池化處理和標準上采樣處理之間；最后一個層級的解析處理包括：多尺度池化處理和與之對應的多尺度上采樣處理，以提取特征圖像的不同區域范圍的特征信息，用于對輸入圖像的不同區域進行自適應亮度調整。

技術領域

本公開的實施例涉及一種基于神經網絡的圖像處理方法、圖像處理裝置、神經網絡的訓練方法以及存儲介質。

背景技術

當前，基于人工神經網絡的深度學習技術已經在諸如圖像分類、圖像捕獲和搜索、面部識別、年齡和語音識別等領域取得了巨大進展。深度學習的優勢在于可以利用通用的結構以相對類似的系統解決非常不同的技術問題。卷積神經網絡(Convolutional?NeuralNetwork，CNN)是近年發展起來并引起廣泛重視的一種人工神經網絡，CNN是一種特殊的圖像識別方式，屬于非常有效的帶有前向反饋的網絡?，F在，CNN的應用范圍已經不僅僅限于圖像識別領域，也可以應用在人臉識別、文字識別、圖像處理等應用方向。

發明內容

本公開至少一個實施例提供一種基于神經網絡的圖像處理方法，其中，所述神經網絡包括循環解析網絡、合成網絡和疊加網絡，所述圖像處理方法包括：獲取輸入圖像；使用所述循環解析網絡對所述輸入圖像進行循環解析處理，以得到中間特征圖像；使用所述合成網絡對所述中間特征圖像進行合成處理，以得到中間輸出圖像；以及使用所述疊加網絡對所述中間輸出圖像與所述輸入圖像進行對位相加處理，以得到輸出圖像；其中，所述循環解析網絡的所述循環解析處理包括：N個層級的逐層嵌套的解析處理；除了第N層級的解析處理外，其余每個層級的解析處理包括編碼處理、池化處理、標準上采樣處理和解碼處理；第i+1層級的解析處理嵌套在第i層級的池化處理和第i層級的標準上采樣處理之間；第i層級的解析處理的輸入作為第i層級的編碼處理的輸入，第i層級的編碼處理的輸出作為第i層級的池化處理的輸入，第i層級的池化處理的輸出作為第i+1層級的解析處理的輸入，第i+1層級的解析處理的輸出作為第i層級的標準上采樣處理的輸入，第i層級的編碼處理的輸出和第i層級的標準上采樣處理的輸出經過拼接處理后作為第i層級的解碼處理的輸入，第i層級的解碼處理的輸出作為第i層級的解析處理的輸出；所述輸入圖像作為第1層級的解析處理的輸入，第1層級的解析處理的輸出作為所述中間特征圖像；第N層級的解析處理包括：對第N層級的解析處理的輸入進行編碼處理，以得到第一特征圖像；基于所述第一特征圖像，進行多尺度池化處理和與所述多尺度池化處理對應的多尺度上采樣處理，以得到多個第二特征圖像，其中，所述多個第二特征圖像的尺寸大小與所述第一特征圖像的尺寸大小相同；將所述第一特征圖像與所述多個第二特征圖像進行拼接，以得到第三特征圖像；以及，基于所述第三特征圖像，得到第N層級的解析處理的輸出；其中，N、i均為整數，且N≥2，1≤i≤N-1。

例如，在本公開一些實施例提供的圖像處理方法中，基于所述第一特征圖像，進行所述多尺度池化處理和與所述多尺度池化處理對應的所述多尺度上采樣處理，以得到所述多個第二特征圖像，包括：對所述第一特征圖像進行所述多尺度池化處理，以得到多種尺度的第四特征圖像；分別對所述多種尺度的第四特征圖像進行降維處理，以得到多種尺度的第五特征圖像；對所述多種尺度的第五特征圖像進行所述多尺度上采樣處理，以得到具有相同尺度的所述多個第二特征圖像。

例如，在本公開一些實施例提供的圖像處理方法中，基于所述第三特征圖像，得到所述第N層級的解析處理的輸出，包括：對所述第三特征圖像進行解碼處理，以得到所述第N層級的解析處理的輸出；或者，將所述第三特征圖像作為所述第N層級的解析處理的輸出。