[發(fā)明專利]一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011393907.0
• 申請(qǐng)日: 2020-12-03
• 公開（公告）號(hào): CN112396598B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 賴賢城;謝曉華;賴劍煌
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/194;G06T5/30;G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367
• 代理人: 李思坪

1.一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法，其特征在于，包括以下步驟：

獲取數(shù)據(jù)集并對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，得到訓(xùn)練人像圖、對(duì)應(yīng)的透明度圖和對(duì)應(yīng)的三元圖；

將訓(xùn)練人像圖輸入到預(yù)構(gòu)建摳圖模型，生成訓(xùn)練的三元圖和訓(xùn)練的透明度圖；

將訓(xùn)練的三元圖和訓(xùn)練的透明度圖與數(shù)據(jù)集該訓(xùn)練人像圖對(duì)應(yīng)的三元圖和對(duì)應(yīng)的透明度圖進(jìn)行損失計(jì)算并更新預(yù)構(gòu)建摳圖模型的參數(shù)，得到訓(xùn)練完成的摳圖模型；

獲取待測(cè)圖像并輸入到訓(xùn)練完成的摳圖模型，得到人像前景圖；

所述將訓(xùn)練人像圖輸入到預(yù)構(gòu)建摳圖模型，生成訓(xùn)練的三元圖和訓(xùn)練的透明度圖這一步驟，其具體包括：

將訓(xùn)練人像圖輸入到預(yù)構(gòu)建摳圖模型，經(jīng)過三元圖支路中的深層特征提取器生成特征圖；

將特征圖經(jīng)過三元圖支路中的解碼器生成訓(xùn)練的三元圖；

將特征圖經(jīng)過主體粗摳支路生成訓(xùn)練的主體透明度圖；

將訓(xùn)練人像圖經(jīng)過邊緣精摳支路的無下采樣的淺層編碼器得到編碼圖；

將特征圖輸入到邊緣精摳支路并與編碼圖拼接，經(jīng)過無下采樣的解碼器后生成訓(xùn)練的邊緣透明度圖；

根據(jù)訓(xùn)練的主體透明度圖和訓(xùn)練的邊緣透明度圖生成訓(xùn)練的最終透明度圖；

所述將訓(xùn)練的三元圖和訓(xùn)練的透明度圖與數(shù)據(jù)集該訓(xùn)練人像圖對(duì)應(yīng)的三元圖和對(duì)應(yīng)的透明度圖進(jìn)行損失計(jì)算并更新預(yù)構(gòu)建摳圖模型的參數(shù)，得到訓(xùn)練完成的摳圖模型這一步驟，其具體包括：

將訓(xùn)練的三元圖與數(shù)據(jù)集中該訓(xùn)練人像圖對(duì)應(yīng)的三元圖逐像素計(jì)算交叉熵?fù)p失，得到三元圖損失；

將訓(xùn)練的主體透明度圖與數(shù)據(jù)集中該訓(xùn)練人像圖對(duì)應(yīng)的透明度圖計(jì)算均方誤差，得到主體透明度圖均方誤差；

將訓(xùn)練的邊緣透明度圖與數(shù)據(jù)集中該訓(xùn)練人像圖對(duì)應(yīng)的透明度圖計(jì)算均方誤差，得到邊緣透明度圖均方誤差；

將訓(xùn)練的最終透明度圖與數(shù)據(jù)集中該訓(xùn)練人像圖對(duì)應(yīng)的透明度圖計(jì)算均方誤差，得到最終透明度圖均方誤差；

根據(jù)三元圖損失、主體透明度圖均方誤差、邊緣透明度圖均方誤差和最終透明度圖均方誤差，得到總損失函數(shù)；

根據(jù)總損失函數(shù)對(duì)預(yù)構(gòu)建扣圖模型參數(shù)進(jìn)行迭代更新，得到訓(xùn)練完成的摳圖模型。

2.根據(jù)權(quán)利要求1所述一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法，其特征在于，所述獲取數(shù)據(jù)集并對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，得到訓(xùn)練人像圖、對(duì)應(yīng)的透明度圖和對(duì)應(yīng)的三元圖這一步驟，其具體包括：

獲取人像摳圖數(shù)據(jù)集，所述人像摳圖數(shù)據(jù)集包括人像圖和對(duì)應(yīng)的透明度圖；

對(duì)人像圖進(jìn)行數(shù)據(jù)增強(qiáng)和放縮，得到訓(xùn)練人像圖；

對(duì)透明度圖進(jìn)行二值化處理、形態(tài)學(xué)的腐蝕和膨脹處理，得到腐蝕參數(shù)和膨脹參數(shù)；

根據(jù)腐蝕參數(shù)和膨脹參數(shù)生成對(duì)應(yīng)的三元圖。

3.根據(jù)權(quán)利要求2所述一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法，其特征在于，所述對(duì)人像圖進(jìn)行數(shù)據(jù)增強(qiáng)和放縮，得到訓(xùn)練人像圖這一步驟，其具體包括：

以0.3概率對(duì)人像圖進(jìn)行隨機(jī)邊緣填充；

以0.5概率對(duì)人像圖進(jìn)行水平方向翻轉(zhuǎn)；

對(duì)人像圖進(jìn)行伽馬變換；

對(duì)人像圖加入高斯噪聲；

將經(jīng)過邊緣填充、水平翻轉(zhuǎn)、伽馬變換和加入高思噪聲的人像圖縮放為256*256的大小，得到訓(xùn)練人像圖。

4.根據(jù)權(quán)利要求1所述一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法，其特征在于，所述摳圖模型包括三元圖支路、主體粗摳支路和邊緣精摳支路，所述訓(xùn)練的透明度圖包括訓(xùn)練的主體透明度圖、訓(xùn)練的邊緣透明度圖和訓(xùn)練的最終透明度圖。

5.根據(jù)權(quán)利要求1所述一種基于單階段多任務(wù)協(xié)同學(xué)習(xí)的人像摳圖方法，其特征在于，所述三元圖損失的計(jì)算公式如下：

上式中，y_k表示該像素屬于類別k的概率，p_k表示該像素預(yù)測(cè)得到的屬于類別k的概率。