[發(fā)明專利]一種圖像合成的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910833216.9
• 申請(qǐng)日: 2019-09-04
• 公開(kāi)（公告）號(hào): CN110599435B
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 趙珊珊;朱曉寧;吳喆峰
• 申請(qǐng)（專利權(quán)）人: 精英數(shù)智科技股份有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京知呱呱知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 管士濤

1.一種圖像合成的方法，其特征在于，包括：

獲取草圖；

將所述草圖輸入預(yù)先訓(xùn)練得到的生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)中；

所述生成網(wǎng)絡(luò)對(duì)所述草圖進(jìn)行處理后得到偽圖；以及將所述偽圖分別輸入到預(yù)先訓(xùn)練得到的生成對(duì)抗網(wǎng)絡(luò)中的第一判別網(wǎng)絡(luò)和第二判別網(wǎng)絡(luò)中；

所述第一判別網(wǎng)絡(luò)和所述第二判別網(wǎng)絡(luò)分別判斷所述偽圖是否是偽圖，并輸出判別結(jié)果；

所述生成網(wǎng)絡(luò)根據(jù)所述第一判別網(wǎng)絡(luò)和所述第二判別網(wǎng)絡(luò)的判別結(jié)果對(duì)所述偽圖進(jìn)行對(duì)應(yīng)地調(diào)整以生成新的偽圖；

所述生成網(wǎng)絡(luò)對(duì)所述草圖進(jìn)行處理，包括：

獲取所述草圖的全局特征向量；

獲取所述草圖中的每一個(gè)像素點(diǎn)處的局部特征向量；

根據(jù)所述全局特征向量和所述每一個(gè)像素點(diǎn)的局部特征向量確定所述每一個(gè)像素點(diǎn)處的融合特征向量；

所述生成網(wǎng)絡(luò)包括：改進(jìn)的全卷積網(wǎng)絡(luò)IFCN和Resnet-50網(wǎng)絡(luò)；

獲取所述草圖的全局特征向量，包括：

利用所述Resnet-50網(wǎng)絡(luò)提取所述草圖的全局特征向量y^global；

獲取所述草圖中的每一個(gè)像素點(diǎn)的局部特征向量，包括：

利用IFCN網(wǎng)絡(luò)提取所述草圖的坐標(biāo)為(u，v)的像素點(diǎn)的局部特征向量y^local；

將所述局部特征和全局特征進(jìn)行融合得到坐標(biāo)為(u，v)的像素點(diǎn)的融合之后的特征向量

其中，

u表示像素點(diǎn)的橫坐標(biāo)；

v表示像素點(diǎn)的縱坐標(biāo)；

W表示權(quán)重矩陣；

b表示偏置項(xiàng)；

y^global表示全局特征向量；

表示坐標(biāo)(u，v)處的局部特征向量；

表示坐標(biāo)為(u，v)處的經(jīng)過(guò)全局特征向量和局部特征向量融合之后的特征向量。

2.如權(quán)利要求1所述的方法，預(yù)先訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，包括：

采集n組訓(xùn)練樣本，每組訓(xùn)練樣本包括草圖和標(biāo)準(zhǔn)圖，n為正整數(shù)；

對(duì)于第i組訓(xùn)練樣本，將所述訓(xùn)練樣本中的草圖輸入所述生成網(wǎng)絡(luò)中，將所述標(biāo)準(zhǔn)圖和所述生成網(wǎng)絡(luò)輸出的偽圖分別輸入所述第一判別網(wǎng)絡(luò)和第二判別網(wǎng)絡(luò)中；

計(jì)算所述第一判別網(wǎng)絡(luò)的損失函數(shù)，利用所述第一判別網(wǎng)絡(luò)的損失函數(shù)更新生成網(wǎng)絡(luò)的參數(shù)；

計(jì)算所述第二判別網(wǎng)絡(luò)的損失函數(shù)，利用所述第二判別網(wǎng)絡(luò)的損失函數(shù)更新生成網(wǎng)絡(luò)的參數(shù)；

將i更新為i+1，繼續(xù)執(zhí)行對(duì)于第i+1組訓(xùn)練樣本，將所述訓(xùn)練樣本中的草圖輸入所述生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)，直至所述生成網(wǎng)絡(luò)和所述第一判別網(wǎng)絡(luò)和第二判別網(wǎng)絡(luò)均收斂時(shí)停止。