[發(fā)明專利]圖像處理網(wǎng)絡(luò)的訓(xùn)練方法及裝置、圖像處理方法及裝置

在審

• 申請?zhí)枺?/td>: 202110334694.2
• 申請日: 2021-03-29
• 公開（公告）號: CN113052242A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 孫亞楠;戴宇榮
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 王皎彤;朱志玲

本公開關(guān)于一種圖像處理網(wǎng)絡(luò)的訓(xùn)練方法及裝置、一種圖像處理方法及裝置。該圖像處理網(wǎng)絡(luò)的訓(xùn)練方法包括：獲取訓(xùn)練圖像和訓(xùn)練圖像的三分圖以及訓(xùn)練圖像的阿爾法值；基于訓(xùn)練圖像和訓(xùn)練圖像的三分圖獲得訓(xùn)練圖像的語義三分圖，其中，語義三分圖包含關(guān)于圖像中各個(gè)不同區(qū)域的像素屬于多個(gè)不同類別阿爾法模式的置信度的信息；基于訓(xùn)練圖像、訓(xùn)練圖像的三分圖、訓(xùn)練圖像的語義三分圖以及訓(xùn)練圖像的阿爾法值對所述圖像處理網(wǎng)絡(luò)進(jìn)行訓(xùn)練。根據(jù)本公開的圖像處理網(wǎng)絡(luò)的訓(xùn)練方法及裝置，可使得圖像處理網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂的更好。根據(jù)本公開的圖像處理方法及裝置，可提高圖像處理效果。

技術(shù)領(lǐng)域

本公開涉及視頻技術(shù)領(lǐng)域。更具體地，本公開涉及一種圖像處理網(wǎng)絡(luò)的訓(xùn)練方法及裝置、一種圖像處理方法及裝置。

背景技術(shù)

在摳圖任務(wù)中，一張圖片可以認(rèn)為是前景圖像和背景圖像的線性組合，組合的系數(shù)就是待求解的阿爾法值(Alpha)，也被稱為透明度圖層。常見的前景物體有很多種類，包括人像，動物，透明或半透明的物體比如玻璃杯/紗裙，以及形狀復(fù)雜的物體比如蜘蛛網(wǎng)/樹木等，這些各種各樣的前景物體極大的增加了摳圖問題的難度，使得摳圖任務(wù)更具有挑戰(zhàn)性。

由于在不提供額外條件的情況下，算法無法定義前景物體，所以相關(guān)算法通常需要用戶輸入來指定前景物體，其中最常用的用戶輸入是三分圖(trimap圖)。三分圖由三部分組成，分別是前景區(qū)域、背景區(qū)域、以及未知區(qū)域，而不包含任何的語義類別信息，即三分圖并不提供任何和前景物體類別相關(guān)的信息。

發(fā)明內(nèi)容

本公開的示例性實(shí)施例在于提供一種圖像處理網(wǎng)絡(luò)的訓(xùn)練方法及裝置、圖像處理方法及裝置，以至少解決相關(guān)技術(shù)中的圖像處理的問題，也可不解決任何上述問題。

根據(jù)本公開的示例性實(shí)施例，提供一種圖像處理網(wǎng)絡(luò)的訓(xùn)練方法，包括：獲取訓(xùn)練圖像和訓(xùn)練圖像的三分圖以及訓(xùn)練圖像的阿爾法值；基于訓(xùn)練圖像和訓(xùn)練圖像的三分圖獲得訓(xùn)練圖像的語義三分圖，其中，語義三分圖包含關(guān)于圖像中各個(gè)不同區(qū)域的像素屬于多個(gè)不同類別阿爾法模式的置信度的信息；基于訓(xùn)練圖像、訓(xùn)練圖像的三分圖、訓(xùn)練圖像的語義三分圖以及訓(xùn)練圖像的阿爾法值對所述圖像處理網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

可選地，對所述圖像處理網(wǎng)絡(luò)進(jìn)行訓(xùn)練的步驟可包括：將訓(xùn)練圖像、訓(xùn)練圖像的三分圖和訓(xùn)練圖像的語義三分圖輸入到所述圖像處理網(wǎng)絡(luò)中，獲得訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值；基于訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值和訓(xùn)練圖像的阿爾法值確定所述圖像處理網(wǎng)絡(luò)的預(yù)測損失；根據(jù)預(yù)測損失對所述圖像處理網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整。

可選地，基于訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值和訓(xùn)練圖像的阿爾法值確定所述圖像處理網(wǎng)絡(luò)的預(yù)測損失的步驟可包括：將訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值和訓(xùn)練圖像的阿爾法值輸入到預(yù)設(shè)的多類別判別器中，獲得針對阿爾法預(yù)測值和阿爾法值的預(yù)測結(jié)果以及在判別過程中多類別判別器的每個(gè)網(wǎng)絡(luò)層提取出的特征圖；基于所述預(yù)測結(jié)果和所述特征圖，確定所述圖像處理網(wǎng)絡(luò)的分類損失以及特征重建損失。

可選地，基于訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值和訓(xùn)練圖像的阿爾法值確定所述圖像處理網(wǎng)絡(luò)的預(yù)測損失的步驟還可包括：確定所述圖像處理網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)；基于訓(xùn)練圖像的每個(gè)區(qū)域的像素的阿爾法預(yù)測值和所述圖像處理網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)，確定所述圖像處理網(wǎng)絡(luò)的阿爾法梯度分布損失。

可選地，基于訓(xùn)練圖像和訓(xùn)練圖像的三分圖獲得訓(xùn)練圖像的語義三分圖的步驟可包括：將訓(xùn)練圖像和訓(xùn)練圖像的三分圖輸入到預(yù)設(shè)的分類器中，通過所述分類器獲得訓(xùn)練圖像的每個(gè)區(qū)域的像素屬于所述多個(gè)不同類別的阿爾法模式的置信度；基于訓(xùn)練圖像的每個(gè)區(qū)域的像素屬于所述多個(gè)不同類別的阿爾法模式的置信度，獲得訓(xùn)練圖像的語義三分圖。