[發(fā)明專利]一種基于繪畫筆觸指導(dǎo)的人臉?biāo)孛枭煞椒?/span>在審
| 申請(qǐng)?zhí)枺?/td> | 202011593350.5 | 申請(qǐng)日: | 2020-12-29 |
| 公開(公告)號(hào): | CN112633288A | 公開(公告)日: | 2021-04-09 |
| 發(fā)明(設(shè)計(jì))人: | 俞俊;祝一帆;高飛 | 申請(qǐng)(專利權(quán))人: | 杭州電子科技大學(xué) |
| 主分類號(hào): | G06K9/34 | 分類號(hào): | G06K9/34;G06K9/42;G06K9/62;G06N3/04;G06K9/00 |
| 代理公司: | 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240 | 代理人: | 朱月芬 |
| 地址: | 310018 浙*** | 國(guó)省代碼: | 浙江;33 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 繪畫 筆觸 指導(dǎo) 素描 生成 方法 | ||
1.一種基于繪畫筆觸指導(dǎo)的人臉?biāo)孛枭煞椒?其特征在于包括如下步驟:
步驟(1)數(shù)據(jù)預(yù)處理
將所有數(shù)據(jù)集的圖像經(jīng)過調(diào)整尺寸和裁剪的操作縮放到統(tǒng)一大小;
步驟(2)筆觸分類器網(wǎng)絡(luò)模型的構(gòu)建及預(yù)訓(xùn)練
自定義筆觸標(biāo)簽,構(gòu)建筆觸分類器網(wǎng)絡(luò)模型,完成模型的預(yù)訓(xùn)練,保留訓(xùn)練好的模型參數(shù);
步驟(3)生成對(duì)抗網(wǎng)絡(luò)模型的構(gòu)建
分別構(gòu)建生成器和判別器兩個(gè)網(wǎng)絡(luò)模型;
步驟(4)生成對(duì)抗網(wǎng)絡(luò)模型的訓(xùn)練
定義損失函數(shù),訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)模型;
步驟(5)人臉?biāo)孛璧纳杉百|(zhì)量評(píng)價(jià)
依次將待處理的人臉圖像輸入到訓(xùn)練后的生成對(duì)抗網(wǎng)絡(luò)模型中,得到對(duì)應(yīng)的人臉?biāo)孛璁媹D像,并根據(jù)指標(biāo)完成質(zhì)量評(píng)價(jià)。
2.根據(jù)權(quán)利要求1所述的一種基于繪畫筆觸指導(dǎo)的人臉?biāo)孛枭煞椒?其特征在于步驟(1)所述的數(shù)據(jù)預(yù)處理:
1-1選擇CUFS數(shù)據(jù)集,按照標(biāo)準(zhǔn)數(shù)據(jù)集劃分方法,隨機(jī)取168張人臉圖像和對(duì)應(yīng)的素描畫圖像作為訓(xùn)練集,其余143張的人臉圖像和對(duì)應(yīng)的素描畫圖像作為測(cè)試集;
1-2對(duì)圖像進(jìn)行預(yù)處理,先將圖像填充到286*286大小,然后對(duì)圖像進(jìn)行隨機(jī)裁剪并做數(shù)據(jù)標(biāo)準(zhǔn)化處理,最終得到的圖像大小變?yōu)?56*256,其中圖像中的人臉圖像的通道數(shù)為3,素描畫圖像的通道數(shù)為1。
3.根據(jù)權(quán)利要求2所述的一種基于繪畫筆觸指導(dǎo)的人臉?biāo)孛枭煞椒?其特征在于步驟(2)所述的筆觸分類器模型的構(gòu)建及預(yù)訓(xùn)練:
2-1使用人臉分割網(wǎng)絡(luò)BiseNet生成Mask數(shù)據(jù)集
通過人臉分割網(wǎng)絡(luò)BiseNet對(duì)預(yù)處理后數(shù)據(jù)集中的人臉圖像做語義解析,為每個(gè)語義成分分配一個(gè)像素級(jí)標(biāo)簽并進(jìn)行標(biāo)注;
最后獲得的20個(gè)人臉語義標(biāo)簽如下:
atts=[1'skin',2'l_brow',3'r_brow',4'l_eye',5'r_eye',6'eye_g',7'l_ear',8'r_ear',9'ear_r',10'nose',11'mouth',12'u_lip',13'l_lip',14'neck',15'neck_l',16'cloth',17'hair',18'hat',20'mustache'];
2-2根據(jù)20個(gè)人臉語義標(biāo)簽自定義人臉?biāo)孛韫P觸標(biāo)簽:
平滑筆觸:patch塊最大值為1 or 6 or 11 or 14 or 15 or 16,則label為1;
毛發(fā)筆觸:patch塊最大值為2 or 3 or 17 or 20,則label為2;
強(qiáng)結(jié)構(gòu)筆觸:patch塊最大值為7 or 8 or 9 or 10 or 12 or 13,則label為3;
邊界筆觸:提取塊和則label為4;
其余為背景0;
針對(duì)上述筆觸標(biāo)簽的定義標(biāo)準(zhǔn)可能出現(xiàn)的錯(cuò)誤,使用標(biāo)簽平滑技術(shù),設(shè)置錯(cuò)誤率為ε,則對(duì)應(yīng)的標(biāo)簽更新為:
label=((1-ε)*label)+(ε/class_num)
其中,class_num表示分類的標(biāo)簽數(shù)5;
2-3構(gòu)建筆觸分類器網(wǎng)絡(luò);
使用DenseNet網(wǎng)絡(luò)構(gòu)建筆觸分類器,其中設(shè)置的growthRate=6,depth=10,reduction=0.5;
2-4訓(xùn)練筆觸分類器網(wǎng)絡(luò)模型并保存
對(duì)于筆觸分類器網(wǎng)絡(luò)模型,使用nll_loss作為損失函數(shù),使用Adam優(yōu)化器完成梯度更新;每隔20個(gè)epoch保存一次模型,總共訓(xùn)練800epoch。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于杭州電子科技大學(xué),未經(jīng)杭州電子科技大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202011593350.5/1.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06K 數(shù)據(jù)識(shí)別;數(shù)據(jù)表示;記錄載體;記錄載體的處理
G06K9-00 用于閱讀或識(shí)別印刷或書寫字符或者用于識(shí)別圖形,例如,指紋的方法或裝置
G06K9-03 .錯(cuò)誤的檢測(cè)或校正,例如,用重復(fù)掃描圖形的方法
G06K9-18 .應(yīng)用具有附加代碼標(biāo)記或含有代碼標(biāo)記的打印字符的,例如,由不同形狀的各個(gè)筆畫組成的,而且每個(gè)筆畫表示不同的代碼值的字符
G06K9-20 .圖像捕獲
G06K9-36 .圖像預(yù)處理,即無須判定關(guān)于圖像的同一性而進(jìn)行的圖像信息處理
G06K9-60 .圖像捕獲和多種預(yù)處理作用的組合
- 健康指導(dǎo)方法和健康指導(dǎo)系統(tǒng)
- 維護(hù)指導(dǎo)顯示裝置、維護(hù)指導(dǎo)顯示方法和維護(hù)指導(dǎo)顯示程序
- 康復(fù)指導(dǎo)方法與康復(fù)指導(dǎo)系統(tǒng)
- 健身指導(dǎo)系統(tǒng)及健身指導(dǎo)方法
- 騎行姿勢(shì)指導(dǎo)裝置和騎行姿勢(shì)指導(dǎo)系統(tǒng)
- 指導(dǎo)輔助系統(tǒng)、指導(dǎo)輔助方法及指導(dǎo)輔助程序
- 學(xué)生運(yùn)動(dòng)指導(dǎo)系統(tǒng)及指導(dǎo)方法
- 指導(dǎo)信息提示系統(tǒng)、指導(dǎo)信息提示方法、程序和指導(dǎo)信息提示設(shè)備
- 視覺指導(dǎo)裝置、視覺指導(dǎo)系統(tǒng)、以及視覺指導(dǎo)方法
- 一種健身指導(dǎo)系統(tǒng)及其指導(dǎo)方法





