[發(fā)明專利]一種基于深度學(xué)習(xí)的人臉漫畫生成方法及其裝置

在審

• 申請?zhí)枺?/td>: 201810242803.6
• 申請日: 2018-03-22
• 公開（公告）號: CN108596839A
• 公開（公告）日: 2018-09-28
• 發(fā)明（設(shè)計）人: 曾坤;朱普良;鄭貴鋒
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06T3/60
• 分類號: G06T3/60;G06T7/11;G06T3/40;G06N3/08;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學(xué)習(xí)的人臉漫畫生成方法，其特征在于，所述方法包括：

獲取個人圖像，在照片中標(biāo)定出77個人臉特征點；

根據(jù)標(biāo)定的36號左眼眼球特征點和39號右眼眼球特征點對圖像中的人臉傾斜角度進行估計處理，通過計算出的傾斜角度對原圖像進行旋轉(zhuǎn)操作，使得36號左眼眼球特征點和39號右眼眼球特征點達(dá)到水平位置，即獲得含有正面標(biāo)準(zhǔn)姿態(tài)人臉的圖像；

獲取含有正面標(biāo)準(zhǔn)姿態(tài)人臉圖像，標(biāo)定出其圖像中77個特征點，從中獲取2號、12號、15號和17號四個特征點，構(gòu)建人臉矩形框；

將人臉矩形框按中心不變的方式等比放大三倍，并將其放大后的矩形框圈定的圖像區(qū)域進行裁剪，構(gòu)建人頭圖像塊；

獲取含有正面標(biāo)準(zhǔn)姿態(tài)人臉照片中的77個特征點，裁剪出人臉中五官的所在矩形區(qū)域，進行歸一化處理，并依次送入預(yù)先訓(xùn)練好的人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)，獲得人臉的性別及五官屬性標(biāo)簽；

根據(jù)人臉的性別及五官屬性標(biāo)簽，在漫畫素材庫中選擇相應(yīng)的五官素材，以輸入的對應(yīng)真實圖片為參考，對選定素材進行相應(yīng)形變處理，獲得對應(yīng)生成的五官漫畫素材；

對所述人頭圖像塊進行計算、分割處理，獲得頭發(fā)精分割區(qū)域，結(jié)合所述人臉性別屬性，在漫畫素材庫中選出相應(yīng)的頭發(fā)素材，以輸入的對應(yīng)真實圖片為參考，對選定的頭發(fā)漫畫素材進行相應(yīng)形變處理，獲得對應(yīng)生成的頭發(fā)漫畫素材；

獲取所述人臉矩形框，結(jié)合所述人臉性別屬性，在相應(yīng)的漫畫素材庫中選出人臉膚底素材，進行形變處理，獲得對應(yīng)生成的人臉膚底漫畫素材；

結(jié)合所述的五官漫畫素材、頭發(fā)漫畫素材、人臉膚底漫畫素材，按照原真實照片中對應(yīng)所在位置進行拼接處理，最終獲得漫畫圖像。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的人臉漫畫生成方法，其特征在于，所述獲得人臉的性別及五官屬性標(biāo)簽的具體步驟包括：

將人臉按照性別給予男、女屬性標(biāo)簽，將人的眉毛按照其茂密程度給予濃密、稀疏屬性標(biāo)簽，將人眼睛按照眼睛睜開程度給予睜眼、瞇眼屬性標(biāo)簽，將人眼睛按照眼皮類型給予單眼皮、雙眼皮屬性標(biāo)簽，將人的嘴巴按照嘴角弧度給予上揚、平整、下彎標(biāo)簽，將人的嘴巴按照張開與否給予張開、緊閉標(biāo)簽。將人的嘴巴按照是否露出牙齒給予漏齒、不漏齒標(biāo)簽，將所有這些屬性整合，即可獲得人臉屬性標(biāo)簽表。

構(gòu)建真人五官分類的訓(xùn)練圖像數(shù)據(jù)庫，在卷積神經(jīng)網(wǎng)絡(luò)框架環(huán)境下，利用預(yù)先訓(xùn)練好的超深卷積神經(jīng)網(wǎng)絡(luò)進行多標(biāo)簽訓(xùn)練處理，獲得可以輸出圖像塊對應(yīng)類別標(biāo)簽的人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)；

獲取人臉矩形框?qū)?yīng)的圖像塊，進行歸一化為224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得人臉的性別屬性標(biāo)簽；

獲取左眉毛圖像塊區(qū)域(新六邊形A₁)，取其外接矩形將外接矩形從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得左眉毛屬性標(biāo)簽；

獲取右眉毛圖像塊區(qū)域(新六邊形B₁)，取其外接矩形將外接矩形從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得右眉毛屬性標(biāo)簽；

獲取左眼圖像塊區(qū)域(新八邊形C₁)，取其外接矩形將外接矩形從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得左眼屬性標(biāo)簽；

獲取右眼圖像塊區(qū)域(新八邊形D₁)，取其外接矩形將外接矩形從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得右眼屬性標(biāo)簽；

獲取鼻子圖像塊區(qū)域(梯形E)，取其外接矩形R_E，將外接矩形R_E從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得鼻子屬性標(biāo)簽；

獲取嘴巴圖像塊區(qū)域(新十二邊形F₁)，取其外接矩形將外接矩形從原輸入個人圖像中裁剪下來，再進行歸一化成224*244大小，通過人臉及五官屬性多標(biāo)簽分類深度卷積神經(jīng)預(yù)測網(wǎng)絡(luò)進行預(yù)測處理，獲得嘴巴屬性標(biāo)簽。