[發(fā)明專利]一種基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202010146696.4
• 申請日: 2020-03-05
• 公開（公告）號: CN111340964B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 才華;孫俊;王爽;趙智
• 申請（專利權(quán)）人: 長春中國光學(xué)科學(xué)技術(shù)館;長春理工大學(xué)
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06N3/0495;G06N3/096
• 代理公司: 長春市吉利專利事務(wù)所(普通合伙) 22206
• 代理人: 李曉莉

1.基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：包括以下步驟，并且以下步驟順次進(jìn)行，

步驟一、從攝像機(jī)中拍攝或在網(wǎng)絡(luò)中獲取一張現(xiàn)實(shí)生活中的圖片作為原始圖像，在網(wǎng)絡(luò)中獲取抽象風(fēng)格圖像，建立風(fēng)格圖像集；

步驟二、建立機(jī)制轉(zhuǎn)移塊，并在機(jī)制轉(zhuǎn)移塊中設(shè)定圖像運(yùn)算機(jī)制，所述圖像運(yùn)算機(jī)制包括點(diǎn)運(yùn)算、代數(shù)運(yùn)算、邏輯運(yùn)算以及幾何運(yùn)算；

步驟三、從步驟一中獲得的風(fēng)格圖像集中隨機(jī)選取指定張數(shù)的抽象風(fēng)格圖像，設(shè)定機(jī)制轉(zhuǎn)移塊中風(fēng)格圖像的融合順序，機(jī)制轉(zhuǎn)移塊按照融合順序分別對選取的抽象風(fēng)格圖像進(jìn)行運(yùn)算，獲得一張以上運(yùn)算后的抽象風(fēng)格圖像以及相應(yīng)的圖像矩陣；

步驟四、將步驟一中獲得的原始圖像通過人體像素實(shí)時(shí)映射到3D模型的技術(shù)DensePose，獲得實(shí)物的3D模型圖以及該3D模型圖的圖像矩陣；

步驟五、通過Res_Net50卷積神經(jīng)網(wǎng)絡(luò)分別對步驟三中獲得的抽象風(fēng)格圖像的圖像矩陣以及步驟四中獲得的實(shí)物的3D模型圖的圖像矩陣進(jìn)行卷積，提取相應(yīng)的feature map特征映射，

從Res_Net50卷積網(wǎng)絡(luò)模型的實(shí)物的3D模型圖的圖像所有卷積層中隨機(jī)選取一層卷積層，將該層的feature map特征映射選定為實(shí)物的3D模型圖的圖像內(nèi)容，

從Res_Net50卷積網(wǎng)絡(luò)模型的抽象風(fēng)格圖像所有卷積層中隨機(jī)選取一層卷積層，將該卷積層中所有的feature map特征映射兩兩作內(nèi)積并用所得的結(jié)果建立Gram矩陣，獲得的Gram矩陣為抽象風(fēng)格圖像的圖像風(fēng)格；

步驟六、利用總體損失函數(shù)，根據(jù)獲得的實(shí)物的3D模型圖的圖像的內(nèi)容和抽象風(fēng)格圖像的圖像風(fēng)格生成風(fēng)格轉(zhuǎn)移圖像，所述的風(fēng)格轉(zhuǎn)移圖像中同時(shí)包括了實(shí)物的3D模型圖的圖像的內(nèi)容和抽象風(fēng)格圖像的圖像風(fēng)格，

所述總體損失函數(shù)為：

Ltotal(p,a,x)＝αLcontent(p,x)+βLstyle(a,x)，

其中，α代表內(nèi)容損失的權(quán)重，β代表風(fēng)格損失的權(quán)重，α與β之和為1,p 為實(shí)物的3D模型圖的圖像的內(nèi)容，a為抽象風(fēng)格圖像的圖像風(fēng)格，x為待生成的圖像，

通過圖像內(nèi)容差別公式，獲得風(fēng)格轉(zhuǎn)移圖像與實(shí)物的3D模型圖的圖像的內(nèi)容p的差別Lcontent(p,x)，

通過圖像風(fēng)格差別公式，獲得風(fēng)格轉(zhuǎn)移圖像與抽象風(fēng)格圖像的圖像風(fēng)格a的差別Lstyle(a,x)；

步驟七、將步驟六中計(jì)算并獲得的總體損失函數(shù)，用梯度下降法修正x的像素值,逐步修正合成圖像x的像素值，使之損失變到最小，獲得最終的風(fēng)格遷移后的圖像。

2.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：所述步驟二中的圖像點(diǎn)運(yùn)算函數(shù)表示為：B(i,j)＝f[A(i,j)]，其中B(i,j)為生成的圖像像素點(diǎn)，f為映射函數(shù)，A(i,j)為原始的圖像像素點(diǎn)。

3.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：所述步驟二中的圖像代數(shù)運(yùn)算是對兩幅或兩幅以上的輸入圖像的對應(yīng)像元逐個(gè)地進(jìn)行和、差、積、商的四則運(yùn)算，以產(chǎn)生有增強(qiáng)效果的圖像。

4.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：所述步驟二中圖像的邏輯運(yùn)算是將兩幅圖像的對應(yīng)像素進(jìn)行邏輯運(yùn)算，邏輯運(yùn)算主要包括與(AND)、或(OR)以及補(bǔ)運(yùn)算。

5.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：所述步驟二中圖像幾何運(yùn)算函數(shù)為：g(x,y)＝f(i',j')＝f[a(i,j),b(i,j)]其中，f(i,j)表示輸入圖像 ，g(x,y)表示輸出圖像 ，a(i,j)和b(i,j)均表示空間變換，a(i,j)和b(i,j)是連續(xù)的，則保持圖像 中的連通關(guān)系。

6.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的3D模型圖像的構(gòu)建方法，其特征是：所述步驟六中圖像內(nèi)容差別公式為：

其中，P_ij為原始的內(nèi)容圖像的卷積特征，F(xiàn)_ij為待生成圖像的卷積特征，i 表示卷積的第i個(gè)通道，j表示卷積的第j個(gè)位置。