[發(fā)明專利]摳圖模型的訓(xùn)練、摳圖方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011504662.4
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112541927A
• 公開(kāi)（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 劉鈺安
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/12;G06T7/194;G06T5/30;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢惠童

本申請(qǐng)實(shí)施例公開(kāi)了一種摳圖模型的訓(xùn)練、摳圖方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于計(jì)算機(jī)視覺(jué)領(lǐng)域。該方法包括：將樣本圖像輸入第一圖像分割模型和第二圖像分割模型，分別得到樣本圖像對(duì)應(yīng)的初始樣本Mask圖和初始樣本Trimap圖；利用初始樣本Mask圖對(duì)初始樣本Trimap圖進(jìn)行優(yōu)化，得到目標(biāo)樣本Trimap圖；將目標(biāo)樣本Trimap圖和樣本圖像輸入摳圖模型，得到樣本圖像對(duì)應(yīng)的樣本Alpha圖；基于樣本Alpha圖和樣本圖像對(duì)應(yīng)的標(biāo)注Alpha圖，對(duì)圖像處理模型進(jìn)行訓(xùn)練。可以提高Trimap圖的分割精確度，在訓(xùn)練過(guò)程中能夠以更加準(zhǔn)確的圖像分割依據(jù)對(duì)模型參數(shù)進(jìn)行調(diào)整，進(jìn)而提高摳圖模型的摳圖精確度和準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及一種摳圖模型的訓(xùn)練、摳圖方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

摳圖是指將圖片或影像的一部分從原始圖片或原始影像中分離，成為單獨(dú)圖層的操作，可以應(yīng)用于人像虛化、背景替換以及圖像合成等領(lǐng)域。目前的圖像處理軟件利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理，不需要手動(dòng)操作，能夠提高圖像處理的效率以及摳圖的精確度。

相關(guān)技術(shù)中，二階段人像摳圖算法是較為常見(jiàn)的摳圖工具，具體方法是先對(duì)圖像分割模型所生成的掩膜(Mask)圖進(jìn)行腐蝕和膨脹處理，得到三層分割(Trimap)圖，或利用Trimap分割模型直接得到含有前景、背景及待定區(qū)域的Trimap圖，最后將Trimap圖輸入摳圖模型，生成透明通道(Alpha)圖，從而利用Alpha圖對(duì)原圖像進(jìn)行處理。

二階段人像摳圖算法的摳圖精確度主要依賴于第一階段生成Trimap圖的精確度，然而，相關(guān)技術(shù)中并沒(méi)有對(duì)Trimap圖進(jìn)行修正和優(yōu)化，若Trimap圖精確度較低，則會(huì)導(dǎo)致最終的摳圖結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種摳圖模型的訓(xùn)練、摳圖方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。所述技術(shù)方案如下：

一方面，本申請(qǐng)實(shí)施例提供了一種摳圖模型的訓(xùn)練方法，所述方法包括：

將樣本圖像輸入第一圖像分割模型和第二圖像分割模型，分別得到所述樣本圖像對(duì)應(yīng)的初始樣本掩膜Mask圖和初始樣本三層分割Trimap圖，所述初始樣本Mask圖被劃分為前景區(qū)域和背景區(qū)域，所述初始樣本Trimap圖被劃分為前景區(qū)域、背景區(qū)域和待定區(qū)域；

利用所述初始樣本Mask圖對(duì)所述初始樣本Trimap圖進(jìn)行優(yōu)化，得到目標(biāo)樣本Trimap圖；

將所述目標(biāo)樣本Trimap圖和所述樣本圖像輸入摳圖模型，得到所述樣本圖像對(duì)應(yīng)的樣本透明通道Alpha圖，所述樣本Alpha圖中包含各個(gè)像素點(diǎn)對(duì)應(yīng)的預(yù)測(cè)透明通道值；

基于所述樣本Alpha圖和所述樣本圖像對(duì)應(yīng)的標(biāo)注Alpha圖，對(duì)所述圖像處理模型進(jìn)行訓(xùn)練，所述標(biāo)注Alpha圖中標(biāo)注有各個(gè)像素點(diǎn)的樣本透明通道值。

另一方面，本申請(qǐng)實(shí)施例提供了一種摳圖方法，所述方法包括：

將目標(biāo)圖像輸入第一圖像分割模型和第二圖像分割模型，分別得到所述目標(biāo)圖像對(duì)應(yīng)的初始Mask圖和初始Trimap圖，所述初始Mask圖被劃分為前景區(qū)域和背景區(qū)域，所述初始Trimap圖被劃分為前景區(qū)域、背景區(qū)域和待定區(qū)域；

利用所述初始Mask圖對(duì)所述初始Trimap圖進(jìn)行優(yōu)化，得到目標(biāo)Trimap圖；

將所述目標(biāo)Trimap圖和所述目標(biāo)圖像輸入摳圖模型，得到所述目標(biāo)圖像對(duì)應(yīng)的Alpha圖，所述Alpha圖中包含各個(gè)像素點(diǎn)對(duì)應(yīng)的透明通道值。

另一方面，本申請(qǐng)實(shí)施例提供了一種摳圖模型的訓(xùn)練裝置，所述裝置包括：