[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法及裝置、存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010017343.4
• 申請日: 2020-01-08
• 公開（公告）號: CN113095470A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 劉鼎;熊維;沈曉輝;方晨
• 申請（專利權(quán)）人: 字節(jié)跳動有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06T7/90
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云

一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法、圖像處理裝置及存儲介質(zhì)。該訓(xùn)練方法包括：獲取訓(xùn)練輸入圖像；使用神經(jīng)網(wǎng)絡(luò)對訓(xùn)練輸入圖像進(jìn)行處理，以得到訓(xùn)練輸出圖像；基于訓(xùn)練輸出圖像，計(jì)算神經(jīng)網(wǎng)絡(luò)的系統(tǒng)損失值；基于系統(tǒng)損失值對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行修正；其中，系統(tǒng)損失值包括對比損失值和顏色損失值至少之一；計(jì)算對比損失值包括：獲取與訓(xùn)練輸入圖像對應(yīng)且尺寸大小與訓(xùn)練輸出圖像相同的目標(biāo)輸出圖像，對目標(biāo)輸出圖像和訓(xùn)練輸出圖像分別進(jìn)行圖像標(biāo)準(zhǔn)化處理，以得到第一圖像和第二圖像，并根據(jù)L1范數(shù)損失函數(shù)計(jì)算對比損失值；計(jì)算顏色損失值包括：對訓(xùn)練輸入圖像和訓(xùn)練輸出圖像分別進(jìn)行模糊化處理，以得到第三圖像和第四圖像，并計(jì)算顏色損失值。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法、圖像處理裝置以及存儲介質(zhì)。

背景技術(shù)

當(dāng)前，基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)已經(jīng)在諸如圖像分類、圖像捕獲和搜索、面部識別、年齡和語音識別等領(lǐng)域取得了巨大進(jìn)展。深度學(xué)習(xí)的優(yōu)勢在于可以利用通用的結(jié)構(gòu)以相對類似的系統(tǒng)解決非常不同的技術(shù)問題。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional NeuralNetwork，CNN)是近年發(fā)展起來并引起廣泛重視的一種人工神經(jīng)網(wǎng)絡(luò)，CNN是一種特殊的圖像識別方式，屬于非常有效的帶有前向反饋的網(wǎng)絡(luò)。現(xiàn)在，CNN的應(yīng)用范圍已經(jīng)不僅僅限于圖像識別領(lǐng)域，也可以應(yīng)用在人臉識別、文字識別、圖像處理等應(yīng)用方向。

發(fā)明內(nèi)容

本公開至少一個(gè)實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：獲取訓(xùn)練輸入圖像；使用所述神經(jīng)網(wǎng)絡(luò)對所述訓(xùn)練輸入圖像進(jìn)行處理，以得到訓(xùn)練輸出圖像；基于所述訓(xùn)練輸出圖像，計(jì)算所述神經(jīng)網(wǎng)絡(luò)的系統(tǒng)損失值；以及基于所述系統(tǒng)損失值對所述神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行修正；其中，所述系統(tǒng)損失值包括對比損失值和顏色損失值至少之一；計(jì)算所述對比損失值包括：獲取與所述訓(xùn)練輸入圖像對應(yīng)的目標(biāo)輸出圖像，所述目標(biāo)輸出圖像的尺寸大小與所述訓(xùn)練輸出圖像的尺寸大小相同；對所述目標(biāo)輸出圖像進(jìn)行圖像標(biāo)準(zhǔn)化處理，以得到第一圖像，并對所述訓(xùn)練輸出圖像進(jìn)行所述圖像標(biāo)準(zhǔn)化處理，以得到第二圖像；以及基于所述第一圖像和所述第二圖像，根據(jù)L1范數(shù)損失函數(shù)計(jì)算所述對比損失值；計(jì)算所述顏色損失值包括：對所述訓(xùn)練輸入圖像進(jìn)行模糊化處理，以得到第三圖像，并對所述訓(xùn)練輸出圖像進(jìn)行所述模糊化處理，以得到第四圖像，以及基于所述第三圖像和所述第四圖像，計(jì)算所述顏色損失值。

例如，在本公開一些實(shí)施例提供的訓(xùn)練方法中，所述圖像標(biāo)準(zhǔn)化處理包括去均值處理和歸一化處理。

例如，在本公開一些實(shí)施例提供的訓(xùn)練方法中，所述訓(xùn)練輸入圖像、所述訓(xùn)練輸出圖像和所述目標(biāo)輸出圖像均為包括分別對應(yīng)于三原色的三種顏色通道的圖像，所述三種顏色通道包括第一顏色通道、第二顏色通道和第三顏色通道。

例如，在本公開一些實(shí)施例提供的訓(xùn)練方法中，所述第三圖像和所述第四圖像均為具有所述三種顏色通道的圖像，且所述第三圖像尺寸大小與所述第四圖像的尺寸大小相同；基于所述第三圖像和所述第四圖像，計(jì)算所述顏色損失值，包括：計(jì)算所述第三圖像和所述第四圖像在每個(gè)像素點(diǎn)的余弦相似度；以及基于全部像素點(diǎn)的余弦相似度，計(jì)算所述顏色損失值。

例如，在本公開一些實(shí)施例提供的訓(xùn)練方法中，所述余弦相似度的計(jì)算公式表示為：

其中，COSINE(x_i,y_i)表示所述第三圖像和所述第四圖像在任一像素點(diǎn)i的余弦相似度，x_i表示所述第三圖像在所述像素點(diǎn)i的色彩向量，y_i表示所述第四圖像在所述像素點(diǎn)i的色彩向量，|| ||₂表示求二范數(shù)的運(yùn)算。

例如，在本公開一些實(shí)施例提供的訓(xùn)練方法中，所述顏色損失值的計(jì)算公式表示為：

其中，L_color表示所述顏色損失值，N表示所述第三圖像或所述第四圖像包括的像素點(diǎn)的數(shù)量。