[發(fā)明專(zhuān)利]基于人像的頭發(fā)補(bǔ)全方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211542195.3
• 申請(qǐng)日: 2022-12-02
• 公開(kāi)（公告）號(hào): CN115861103A
• 公開(kāi)（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 宋澤山
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海積圖科技有限公司
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06V10/25
• 代理公司: 深圳市特訊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 孟智廣

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于人像的頭發(fā)補(bǔ)全方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括下述步驟：S1、獲取人臉圖像集，識(shí)別所述人臉圖像集中頭發(fā)缺損區(qū)域；S2、根據(jù)所述頭發(fā)缺損區(qū)域，生成對(duì)應(yīng)的掩膜補(bǔ)全區(qū)域；S3、對(duì)所述掩膜補(bǔ)全區(qū)域，進(jìn)行用于大孔圖像修復(fù)的掩模感知transformer補(bǔ)全處理；S4、對(duì)經(jīng)過(guò)大孔圖像修復(fù)的掩模感知transformer補(bǔ)全處理后的人臉圖像集進(jìn)行全覆蓋補(bǔ)全處理。通過(guò)將頭發(fā)補(bǔ)全后，整體人像更完善；為后續(xù)圖像超分辨率處理、數(shù)字人合成、整體風(fēng)格二次遷移等業(yè)務(wù)處理提供方便。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于人像的頭發(fā)補(bǔ)全方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

圖像處理指的是用計(jì)算機(jī)對(duì)圖像進(jìn)行處理的技術(shù)。數(shù)字圖像處理可以幫助人們更客觀、準(zhǔn)確地認(rèn)識(shí)世界，人的視覺(jué)系統(tǒng)可以幫助人類(lèi)從外界獲取3/4以上的信息，而圖像、圖形又是所有視覺(jué)信息的載體，盡管人眼的鑒別力很高，可以識(shí)別上千種顏色，但很多情況下，圖像對(duì)于人眼來(lái)說(shuō)是模糊的甚至是不可見(jiàn)的，通過(guò)圖象增強(qiáng)技術(shù)，可以使模糊甚至不可見(jiàn)的圖像變得清晰明亮。

在圖像處理中，經(jīng)常會(huì)使用StyleGAN，StyleGAN這一機(jī)器學(xué)習(xí)方式是為了生成模擬真實(shí)圖像的新圖像。使用StyleGAN，不同于大多數(shù)其他生成器，可以定制不同的因素來(lái)更改生成的圖像的結(jié)果。StyleGAN能夠制作出令人難以置信的逼真的人像，但是這種生成器也可以用于將同樣的機(jī)器學(xué)習(xí)應(yīng)用到其他動(dòng)物、汽車(chē)甚至房間中等。但是，在StyleGAN風(fēng)格遷移訓(xùn)練中，在經(jīng)過(guò)人臉對(duì)齊后，會(huì)導(dǎo)致人臉圖像被裁剪，會(huì)損失部分頭發(fā)細(xì)節(jié)部分，這樣勢(shì)必會(huì)使得人臉圖像不完整，給后續(xù)的圖像處理帶來(lái)?yè)p失。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提出一種基于人像的頭發(fā)補(bǔ)全方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中在StyleGAN風(fēng)格遷移訓(xùn)練中，在經(jīng)過(guò)人臉對(duì)齊后，會(huì)導(dǎo)致人臉圖像被裁剪，會(huì)損失部分頭發(fā)細(xì)節(jié)部分的問(wèn)題。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于人像的頭發(fā)補(bǔ)全方法，采用了如下所述的技術(shù)方案，包括下述步驟：

S1、獲取人臉圖像集，識(shí)別所述人臉圖像集中頭發(fā)缺損區(qū)域；

S2、根據(jù)所述頭發(fā)缺損區(qū)域，生成對(duì)應(yīng)的掩膜補(bǔ)全區(qū)域；

S3、對(duì)所述掩膜補(bǔ)全區(qū)域，進(jìn)行用于大孔圖像修復(fù)的掩模感知transformer補(bǔ)全處理；

S4、對(duì)經(jīng)過(guò)大孔圖像修復(fù)的掩模感知transformer補(bǔ)全處理后的人臉圖像集進(jìn)行全覆蓋補(bǔ)全處理。

進(jìn)一步的，所述步驟S1、獲取人臉圖像集，識(shí)別所述人臉圖像集中頭發(fā)缺損區(qū)域的步驟具體包括：

獲取CelebA人臉圖像集，對(duì)所述CelebA人臉圖像集進(jìn)行頭發(fā)缺損類(lèi)型第一次標(biāo)注，同時(shí)通過(guò)裁剪得到合適的缺損類(lèi)型，進(jìn)行第二次標(biāo)注；

使用reset34作為backone，reset34的分類(lèi)頭部分由1000分類(lèi)改為5分類(lèi)，5分類(lèi)設(shè)為上、下、左、右、正常分類(lèi)，生成resnet34分類(lèi)網(wǎng)絡(luò)模型。

進(jìn)一步的，所述步驟S2、根據(jù)所述頭發(fā)缺損區(qū)域，生成對(duì)應(yīng)的掩膜補(bǔ)全區(qū)域具體包括：

根據(jù)所述resnet34分類(lèi)網(wǎng)絡(luò)模型，預(yù)測(cè)對(duì)應(yīng)的掩膜補(bǔ)全區(qū)域；

將所述掩膜補(bǔ)全區(qū)域拼接到所述celeba人臉圖像上。

進(jìn)一步的，所述掩膜補(bǔ)全區(qū)域?yàn)楹谏腞GB圖像，通過(guò)opencv對(duì)所述RGB圖像進(jìn)行RGB通道對(duì)齊，

將通過(guò)RGB通道對(duì)齊后的圖像，拼接到之前的圖像上。

進(jìn)一步的，所述步驟S4、對(duì)經(jīng)過(guò)大孔圖像修復(fù)的掩模感知transformer補(bǔ)全處理后的人臉圖像集進(jìn)行全覆蓋補(bǔ)全處理具體包括：