[發明專利]一種基于圖像語義提取和涂鴉的彩繪畫創作方法

有效

• 申請號: 201710120036.7
• 申請日: 2017-03-02
• 公開（公告）號: CN106960457B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 王華珍;潘傲寒
• 申請（專利權）人: 華僑大學;廈門繪酷文化傳媒有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭

1.一種基于圖像語義提取和涂鴉的彩繪畫創作方法，其特點在于，包括：

步驟1，讀取一張語義結構清晰的素材圖MAT；基于素材圖MAT創建等尺寸的語義圖SEM，并計算語義圖SEM中每個像素點的顏色；

步驟2，選取語義圖SEM上的不同顏色進行涂鴉，獲得一張由多種語義顏色構成的涂鴉圖GRA；

步驟3，選取一個在ImageNet數據集上訓練好的卷積神經網絡模型VGG作為圖像風格提取器，分別提取素材圖MAT、語義圖SEM和涂鴉圖GRA的風格特征張量，包括：

以素材圖MAT作為輸入，提取VGG第三組第一層的特征值MAT_{vgg_3_1}和第四組第一層的特征值MAT_{vgg_4_1}；以語義圖SEM作為輸入，同樣提取VGG第三組第一層的特征值SEM_{vgg_3_1}和第四組第一層的特征值SEM_{vgg_4_1}；合并兩個特征值張量，獲得維度為[1,height_{3_1},width_{3_1},channel_{MAT_3_1}+channel_{SEM_3_1}]的風格特征張量MATSEM_{vgg_3_1}和維度為[1,height_{4_1},width_{4_1},channel_{MAT_4_1}+channel_{SEM_4_1}]的風格特征張量MATSEM_{vgg_4_1}；

以涂鴉圖GRA作為輸入，同樣提取VGG第三組第一層的特征值GRA_{vgg_3_1}和第四組第一層的特征值GRA_{vgg_4_1}；以隨機值初始化一張與涂鴉圖GRA等幅面的生成圖GEN，輸入到風格特征提取器VGG中，同樣提取第三組第一層的特征值GEN_{vgg_3_1}和第四組第一層的特征值GEN_{vgg_4_1}；合并兩個特征值張量，獲得維度為[1,height_{3_1},width_{3_1},channel_{GRA_3_1}+channel_{GEN_3_1}]的風格特征張量GRAGEN_{vgg_3_1}和維度為[1,height_{4_1},width_{4_1},channel_{GRA_4_1}+channel_{GEN_4_1}]的風格特征張量GRAGEN_{vgg_4_1}；

步驟4，將獲取的風格特征張量MATSEM_{vgg_3_1}、MATSEM_{vgg_4_1}、GRAGEN_{vgg_3_1}和GRAGEN_{vgg_4_1}切分成維度為[1,3,3,1]的若干個特征塊；沿著第二和第三個軸，以步幅為1進行切片處理，分別獲得對應的特征塊張量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}；

步驟5，基于特征塊張量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}，定義如下損失函數：

其中，ψ_i(·)表示特征塊張量中第i個特征塊；x等于3或者4，表示3或者4層級上對應的特征塊張量；

在上述損失函數中，以素材圖MAT、語義圖SEM、涂鴉圖GRA和生成圖GEN作為初始輸入，使用迭代法變更生成圖GEN的各像素點和各通道的值，獲得最小損失函數時的最優值，最終得到符合需求的彩繪畫GEN_opt；

所述基于素材圖MAT創建等尺寸的語義圖SEM包括：

令顏色集合C，每種顏色c∈C；語義集合S，每種語義s∈S；

根據素材圖MAT中每個像素點x∈C屬于某種語義的規則f(a):C-S，以及每個語義對應的顏色映射函數g(b):S-C，則計算得到語義圖SEM中每個像素點的顏色為g(f(x))；

所述基于素材圖MAT創建等尺寸的語義圖SEM還包括：

將素材圖中需要保留的部分標記成背景語義，用一種顏色將背景語義區域標記出來；

所述步驟2還包括，將所述一種顏色作為背景色來初始化涂鴉圖，并且背景語義的區域禁止涂鴉其它顏色；

所述得到符合需求的彩繪畫GEN_opt的具體求解流程為：

對損失函數L求導，通過反向傳播和鏈式求導的法則將梯度傳遞到GEN；使用擬牛頓法L-BFGS更新每輪GEN的值，快速逼近局部最優值；最終得到符合需求的彩繪畫GEN_opt。