[發(fā)明專利]一種基于圖像語(yǔ)義提取和涂鴉的彩繪畫創(chuàng)作方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710120036.7
• 申請(qǐng)日: 2017-03-02
• 公開（公告）號(hào): CN106960457B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 王華珍;潘傲寒
• 申請(qǐng)（專利權(quán)）人: 華僑大學(xué);廈門繪酷文化傳媒有限公司
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00
• 代理公司: 廈門市首創(chuàng)君合專利事務(wù)所有限公司 35204
• 代理人: 張松亭

本發(fā)明提出一種基于圖像語(yǔ)義提取和涂鴉的彩繪畫創(chuàng)作方法，該方法能夠?qū)⒄Z(yǔ)義風(fēng)格遷移到涂鴉畫中，進(jìn)而轉(zhuǎn)化為精細(xì)彩繪畫，通過收集已有的彩繪畫素材，并標(biāo)記素材圖畫中的語(yǔ)義，通過語(yǔ)義生成一張涂鴉畫，通過一種將馬爾可夫隨機(jī)場(chǎng)與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的風(fēng)格遷移技術(shù)，得到一張具有素材圖像風(fēng)格和涂鴉語(yǔ)義融合的精細(xì)彩繪畫。本發(fā)明能降低畫家重復(fù)繪制同一主題的繪制時(shí)間，可以快速改變構(gòu)圖但保留原有風(fēng)格，可以提供彩繪靈感的優(yōu)點(diǎn)，一定程度上解決了彩繪畫供需不平衡的痛點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法領(lǐng)域，特別涉及一種基于圖像語(yǔ)義提取和涂鴉的彩繪畫創(chuàng)作方法。

背景技術(shù)

對(duì)于彩繪從業(yè)者，創(chuàng)作一張新的彩繪畫需要大量的精力和時(shí)間，同時(shí)還需要對(duì)已有的主題方案進(jìn)行調(diào)整以滿足不同客戶的需求。對(duì)于一些彩繪工作室或畫家來說，彩繪畫設(shè)計(jì)需要耗費(fèi)大量的時(shí)間，彩繪設(shè)計(jì)周期過長(zhǎng)成為阻礙業(yè)務(wù)發(fā)展的行業(yè)痛點(diǎn)。而隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，圖像融合和風(fēng)格遷移算法已經(jīng)較為成熟，能夠從多幅圖像上提取風(fēng)格與關(guān)鍵內(nèi)容，進(jìn)而智能生成新的圖像。因此利用計(jì)算機(jī)視覺技術(shù)輔助或加速彩繪畫藝術(shù)設(shè)計(jì)不僅可行且迎合實(shí)際需求。

發(fā)明內(nèi)容

本發(fā)明提出一種基于圖像語(yǔ)義提取和涂鴉的彩繪畫創(chuàng)作方法，根據(jù)提取的圖像語(yǔ)義進(jìn)行涂鴉，進(jìn)而利用風(fēng)格遷移技術(shù)生成彩繪畫；本方法只需要畫家進(jìn)行語(yǔ)義涂鴉后就能自動(dòng)生成精細(xì)風(fēng)格化的彩繪畫，能大大提高設(shè)計(jì)效率，讓畫家減輕壓力，迸發(fā)更多的靈感，解決設(shè)計(jì)周期過長(zhǎng)的痛點(diǎn)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于圖像語(yǔ)義提取和涂鴉的彩繪畫創(chuàng)作方法，包括：

步驟1，讀取一張語(yǔ)義結(jié)構(gòu)清晰的素材圖MAT；基于素材圖MAT創(chuàng)建等尺寸的語(yǔ)義圖SEM，并計(jì)算語(yǔ)義圖SEM中每個(gè)像素點(diǎn)的顏色；

步驟2，選取語(yǔ)義圖SEM上的不同顏色進(jìn)行涂鴉，獲得一張由多種語(yǔ)義顏色構(gòu)成的涂鴉圖GRA；

步驟3，選取一個(gè)在ImageNet數(shù)據(jù)集上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型VGG作為圖像風(fēng)格提取器，分別提取素材圖MAT、語(yǔ)義圖SEM和涂鴉圖GRA的風(fēng)格特征張量，包括：

以素材圖MAT作為輸入，提取VGG第三組第一層的特征值MAT_{vgg_3_1}和第四組第一層的特征值MAT_{vgg_4_1}；以語(yǔ)義圖SEM作為輸入，同樣提取VGG第三組第一層的特征值SEM_{vgg_3_1}和第四組第一層的特征值SEM_{vgg_4_1}；合并兩個(gè)特征值張量，獲得維度為[1,height_{3_1},width_{3_1},channel_{MAT_3_1}+channel_{SEM_3_1}]的風(fēng)格特征張量MATSEM_{vgg_3_1}和維度為[1,height_{4_1},width_{4_1},channel_{MAT_4_1}+channel_{SEM_4_1}]的風(fēng)格特征張量MATSEM_{vgg_4_1}；