[發(fā)明專利]圖像優(yōu)化方法及相關(guān)模型的訓(xùn)練方法和相關(guān)裝置、設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110341708.3
• 申請(qǐng)日: 2021-03-30
• 公開(kāi)（公告）號(hào): CN113052774B
• 公開(kāi)（公告）日: 2022-10-21
• 發(fā)明（設(shè)計(jì)）人: 徐璐;任思捷;周牧
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種圖像優(yōu)化模型的訓(xùn)練方法，其特征在于，包括：

獲取第一樣本圖像和第二樣本圖像；

其中，所述第一樣本圖像和所述第二樣本圖像包含相同對(duì)象，且所述第二樣本圖像的圖像質(zhì)量?jī)?yōu)于所述第一樣本圖像的圖像質(zhì)量；

基于圖像優(yōu)化模型優(yōu)化所述第一樣本圖像，得到樣本優(yōu)化圖像；

獲取所述第二樣本圖像中包含第二樣本像素點(diǎn)的局部區(qū)域的結(jié)構(gòu)特征信息，并基于所述第二樣本像素點(diǎn)、所述結(jié)構(gòu)特征信息以及所述樣本優(yōu)化圖像中的第三樣本像素點(diǎn)，得到所述第一樣本圖像中的第一樣本像素點(diǎn)的第一損失值，其中，所述第二樣本像素點(diǎn)和第三樣本像素點(diǎn)均對(duì)應(yīng)于所述第一樣本像素點(diǎn)，所述結(jié)構(gòu)特征信息包括強(qiáng)度和相關(guān)度，所述強(qiáng)度表示存在像素值突變的可能性，所述相關(guān)度表示存在邊緣方向相關(guān)的可能性，且所述強(qiáng)度越大，所述局部區(qū)域中存在明顯結(jié)構(gòu)的可能性越大，所述相關(guān)度越大，所述局部區(qū)域中存在邊帶結(jié)構(gòu)的可能性越大，所述明顯結(jié)構(gòu)包括細(xì)粒度結(jié)構(gòu)、邊帶結(jié)構(gòu)中至少一者，所述第一損失值由若干種預(yù)設(shè)結(jié)構(gòu)的加權(quán)因子分別對(duì)所述若干種預(yù)設(shè)結(jié)構(gòu)的子損失值加權(quán)處理得到；以及

基于所述第一樣本圖像中所述第一樣本像素點(diǎn)的第一損失值，調(diào)整所述圖像優(yōu)化模型的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第二樣本像素點(diǎn)、所述結(jié)構(gòu)特征信息以及所述樣本優(yōu)化圖像中的第三樣本像素點(diǎn)，得到所述第一樣本圖像中的第一樣本像素點(diǎn)的第一損失值，包括：

基于所述結(jié)構(gòu)特征信息，獲取若干種預(yù)設(shè)結(jié)構(gòu)的加權(quán)因子；

分別利用所述若干種預(yù)設(shè)結(jié)構(gòu)的損失函數(shù)處理所述第二樣本像素點(diǎn)和所述第三樣本像素點(diǎn)，得到所述若干種預(yù)設(shè)結(jié)構(gòu)的子損失值；以及

利用所述若干種預(yù)設(shè)結(jié)構(gòu)的加權(quán)因子分別對(duì)所述若干種預(yù)設(shè)結(jié)構(gòu)的子損失值進(jìn)行加權(quán)處理，得到所述第一損失值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述若干種預(yù)設(shè)結(jié)構(gòu)包括邊帶結(jié)構(gòu)、細(xì)粒度結(jié)構(gòu)和平坦結(jié)構(gòu)中的至少一個(gè)；其中，所述邊帶結(jié)構(gòu)和所述細(xì)粒度結(jié)構(gòu)中存在像素值突變，所述邊帶結(jié)構(gòu)存在邊緣方向相關(guān)，且所述相關(guān)度與所述邊帶結(jié)構(gòu)的加權(quán)因子為正相關(guān)關(guān)系，所述強(qiáng)度與所述細(xì)粒度結(jié)構(gòu)的加權(quán)因子為正相關(guān)關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述結(jié)構(gòu)特征信息，獲取若干種預(yù)設(shè)結(jié)構(gòu)的加權(quán)因子，包括：

基于第一調(diào)節(jié)系數(shù)，得到所述平坦結(jié)構(gòu)的加權(quán)因子；

和/或，基于所述強(qiáng)度，得到所述細(xì)粒度結(jié)構(gòu)的加權(quán)因子；

和/或，基于所述相關(guān)度和第二調(diào)節(jié)系數(shù)之積，得到所述邊帶結(jié)構(gòu)的加權(quán)因子。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述分別利用所述若干種預(yù)設(shè)結(jié)構(gòu)的損失函數(shù)處理所述第二樣本像素點(diǎn)和所述第三樣本像素點(diǎn)，得到所述若干種預(yù)設(shè)結(jié)構(gòu)的子損失值，包括：

基于通過(guò)第一損失函數(shù)得到的所述第二樣本像素點(diǎn)和所述第三樣本像素點(diǎn)之間的第一差異，確定所述平坦結(jié)構(gòu)的第一子損失值；其中，所述第一差異與所述第一子損失值為正相關(guān)關(guān)系；

和/或，基于通過(guò)第二損失函數(shù)得到的所述第二樣本像素點(diǎn)和所述第三樣本像素點(diǎn)之間的第二差異，確定所述邊帶結(jié)構(gòu)的第二子損失值；其中，所述第二差異與所述第二子損失值為正相關(guān)關(guān)系；

和/或，基于通過(guò)第三損失函數(shù)得到的所述第二樣本圖像中包含所述第二樣本像素點(diǎn)的局部區(qū)域和所述樣本優(yōu)化圖像中包含所述第三樣本像素點(diǎn)的局部區(qū)域之間的相似度，確定所述細(xì)粒度結(jié)構(gòu)的第三子損失值；其中，所述相似度與所述第三子損失值為負(fù)相關(guān)關(guān)系。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述基于所述第一樣本圖像中所述第一樣本像素點(diǎn)的第一損失值，調(diào)整所述圖像優(yōu)化模型的網(wǎng)絡(luò)參數(shù)，包括：

在存在所述預(yù)設(shè)結(jié)構(gòu)的加權(quán)因子低于預(yù)設(shè)閾值的情況下，將低于所述預(yù)設(shè)閾值的加權(quán)因子所屬的所述預(yù)設(shè)結(jié)構(gòu)作為目標(biāo)結(jié)構(gòu)；

利用所述目標(biāo)結(jié)構(gòu)的損失函數(shù)處理所述第三樣本像素點(diǎn)與所述第二樣本像素點(diǎn)，得到所述第一樣本像素點(diǎn)的第二損失值；

基于各個(gè)所述第一樣本像素點(diǎn)的第一損失值和第二損失值，得到所述圖像優(yōu)化模型的總損失值；以及

利用所述總損失值，調(diào)整所述圖像優(yōu)化模型的網(wǎng)絡(luò)參數(shù)。