[發(fā)明專利]一種基于圖像語義分割的虛擬頭發(fā)染色方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910174064.6
• 申請(qǐng)日: 2019-03-08
• 公開（公告）號(hào): CN109903257A
• 公開（公告）日: 2019-06-18
• 發(fā)明（設(shè)計(jì)）人: 安平;楊夢雅;劉云;余佳東;尤志翔
• 申請(qǐng)（專利權(quán)）人: 上海大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T7/11;G06T7/90;G06K9/00;G06K9/62
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明公開了一種基于圖像語義分割的虛擬頭發(fā)染色方法，其包括：對(duì)收集的數(shù)據(jù)集進(jìn)行頭發(fā)標(biāo)注，獲得多發(fā)型多狀態(tài)下的頭發(fā)標(biāo)注樣本；將頭發(fā)標(biāo)注樣本代入預(yù)先建立的數(shù)據(jù)增強(qiáng)算法，得到數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集；基于圖像語義分割網(wǎng)絡(luò)訓(xùn)練步驟S11得到的數(shù)據(jù)集，得到深度學(xué)習(xí)模型；通過深度學(xué)習(xí)模型識(shí)別輸入圖像的頭發(fā)區(qū)域，進(jìn)行語義分割；對(duì)圖像的頭發(fā)區(qū)域進(jìn)行歸一化處理，得到歸一化后的圖像；將歸一化后的圖像進(jìn)行顏色通道分離，完成頭發(fā)染色，得到頭發(fā)染色后的染色圖像。本發(fā)明的基于圖像語義分割的虛擬頭發(fā)染色方法，可以全自動(dòng)地生成頭發(fā)染色圖像，提高了虛擬頭發(fā)染色的精確度和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及頭發(fā)染色領(lǐng)域，特別涉及一種基于圖像語義分割的虛擬頭發(fā)染色方法。

背景技術(shù)

當(dāng)前已有大量基于人臉識(shí)別和分析的相關(guān)應(yīng)用，但單獨(dú)針對(duì)頭發(fā)的應(yīng)用較少。頭發(fā)是重要的人類局部外部特征，基于頭發(fā)特征識(shí)別和區(qū)域分割的虛擬染色作為虛擬美妝的重要功能之一，有著極高的實(shí)用價(jià)值和廣泛的市場前景。在虛擬染發(fā)的功能實(shí)現(xiàn)過程中，頭發(fā)區(qū)域的分割是最基礎(chǔ)、也是最重要的一步，其主要側(cè)重于做基于人臉的分割，或者頭發(fā)區(qū)域手動(dòng)標(biāo)定。

由于頭發(fā)本身具有多種顏色以及多種形狀。圖像中的背景、人臉其他特征、衣物穿著等又往往比較復(fù)雜，易與頭發(fā)混淆。因此，頭發(fā)分割具有很高的難度。已有的頭發(fā)分割技術(shù)有利用幾何和顏色模型，針對(duì)光照和陰影建立簡單的顏色模型。也有采用頻率統(tǒng)計(jì)和顏色分析選取種子，而后擴(kuò)展頭發(fā)區(qū)域。這些方法的種子策略選擇大多數(shù)基于人工經(jīng)驗(yàn)，選出的種子比較離散、數(shù)量不多，不易建立準(zhǔn)確的頭發(fā)統(tǒng)計(jì)模型，因此難以有理想的結(jié)果。近年來出現(xiàn)了基于深度學(xué)習(xí)的頭發(fā)分割方法，但大多基于人臉識(shí)別進(jìn)行頭發(fā)區(qū)域的分割，只能解決正面人臉圖像的頭發(fā)分割問題。如果輸入圖像是人物背面或者識(shí)別不到人臉時(shí)就無法進(jìn)行頭發(fā)區(qū)域的分割，適用場景大大受限。

發(fā)明內(nèi)容

本發(fā)明針對(duì)上述現(xiàn)有技術(shù)中存在的問題，提出一種基于圖像語義分割的虛擬頭發(fā)染色方法，根據(jù)大量的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，通過提取圖像的語義信息，并利用深度學(xué)習(xí)方法進(jìn)行圖像頭發(fā)分割，提高了虛擬頭發(fā)染色的精確度和魯棒性，并且當(dāng)識(shí)別不到人臉時(shí)也可以進(jìn)行頭發(fā)區(qū)域的分割，適用場景廣泛。

為解決上述技術(shù)問題，本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明提供一種基于圖像語義分割的虛擬頭發(fā)染色方法，其包括：

S11：對(duì)收集的數(shù)據(jù)集進(jìn)行頭發(fā)標(biāo)注，獲得多發(fā)型多狀態(tài)下的頭發(fā)標(biāo)注樣本；將頭發(fā)標(biāo)注樣本代入預(yù)先建立的數(shù)據(jù)增強(qiáng)算法，得到數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集；

S12：基于圖像語義分割網(wǎng)絡(luò)訓(xùn)練所述S11得到的數(shù)據(jù)集，得到深度學(xué)習(xí)模型；通過所述深度學(xué)習(xí)模型識(shí)別輸入圖像的頭發(fā)區(qū)域，進(jìn)行語義分割；

S13：對(duì)圖像的頭發(fā)區(qū)域進(jìn)行歸一化處理，得到歸一化后的圖像；將歸一化后的圖像進(jìn)行顏色通道分離，完成頭發(fā)染色，得到頭發(fā)染色后的染色圖像。

較佳地，所述S11具體包括：

S111：收集多張包含頭發(fā)的人像圖像，歸類為多種發(fā)型類別，每種發(fā)型多張圖片，設(shè)置人像圖像為統(tǒng)一大小，并對(duì)人像圖像進(jìn)行摳圖得到頭發(fā)的二值區(qū)域掩膜；

S112：采用預(yù)設(shè)的數(shù)據(jù)增強(qiáng)算法，對(duì)訓(xùn)練數(shù)據(jù)集隨機(jī)進(jìn)行變換以完成圖像增強(qiáng)操作擴(kuò)充數(shù)據(jù)樣例。

較佳地，所述12具體包括：

S121：使用基于U-net網(wǎng)絡(luò)的圖像語義分割網(wǎng)絡(luò)訓(xùn)練所述S11得到的數(shù)據(jù)集，調(diào)整初始化網(wǎng)絡(luò)的權(quán)值閾值，得到梯度下降穩(wěn)定、損失函數(shù)降到預(yù)期值、擬合度達(dá)到要求的深度學(xué)習(xí)模型；

S122：通過所述深度學(xué)習(xí)模型提取輸入圖像的特征，識(shí)別輸入圖像的頭發(fā)區(qū)域，并進(jìn)行語義分割，得到分割后的頭發(fā)區(qū)域的掩膜圖；將掩膜轉(zhuǎn)為二值化圖像，變換規(guī)則：若該點(diǎn)像素值小于0.5則該點(diǎn)像素值為1，若該點(diǎn)像素值大于1則該點(diǎn)像素值為0。