[發(fā)明專利]一種基于分治融合的高清人臉屬性編輯方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111085995.2
• 申請(qǐng)日: 2021-09-16
• 公開(kāi)（公告）號(hào): CN113781376A
• 公開(kāi)（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 馮緣;陳凱祥;胡曜珺;劉盛;沈守楓
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

本發(fā)明公開(kāi)了一種基于分治融合的高清人臉屬性編輯方法，屬于計(jì)算機(jī)視覺(jué)領(lǐng)域。該方法提出了一個(gè)包含低清人臉編輯網(wǎng)絡(luò)與高清人臉圖像融合網(wǎng)絡(luò)的人臉屬性編輯框架。先對(duì)原始高分辨率圖像進(jìn)行下采樣后得到低分辨率的人臉圖像，在低清人臉編輯網(wǎng)絡(luò)中對(duì)低分辨率的人臉圖像進(jìn)行屬性編輯后上采樣至原大小；在高清人臉圖像融合網(wǎng)絡(luò)中對(duì)原始高分辨率圖像與上采樣的人臉圖像進(jìn)行切片，利用雙通道編碼器編碼，再與屬性差值向量融合，之后在解碼器中解碼得到結(jié)果切片，最后按位置拼接得到高清人臉圖像。本發(fā)明提出的高清人臉屬性編輯方法被驗(yàn)證具有較高的圖像生成效率且生成的圖像具有較高質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于分治融合的高清人臉屬性編輯方法。

背景技術(shù)

人臉屬性(如膚色，胡子，劉海)是人臉的一個(gè)的重要特征。人臉屬性編輯的主要目的是用新屬性更新替換人臉的舊屬性，是一個(gè)很廣的應(yīng)用領(lǐng)域，不僅可以用于輔助其他諸如人臉識(shí)別等相關(guān)的任務(wù)，也可以獨(dú)立成若干新的任務(wù)，在人機(jī)交互，娛樂(lè)社交領(lǐng)域有廣泛應(yīng)用，傳統(tǒng)的人臉識(shí)別和人臉屬性預(yù)測(cè)任務(wù)。不同于低分辨率人臉圖像編輯的巨大成功，針對(duì)高分辨率的圖像的人臉屬性編輯研究的較少。

現(xiàn)有的人臉編輯方法如STGAN，隨著圖片分辨率的線性增加，其顯存消耗的增長(zhǎng)模式明顯快于線性增長(zhǎng)。此外，不同分辨率圖像使用的框架往往是一樣的，而在實(shí)際應(yīng)用中，對(duì)于更高分辨率的圖像來(lái)言更深的網(wǎng)絡(luò)是不可或缺的，因此，顯存消耗的增長(zhǎng)實(shí)際上會(huì)更嚴(yán)重，甚至達(dá)到指數(shù)增長(zhǎng)，因此在一些移動(dòng)場(chǎng)景(如智能手機(jī)、AR/VR眼鏡)中，由于計(jì)算和內(nèi)存資源有限，往往導(dǎo)致編輯的效果的不理想甚至無(wú)法進(jìn)行編輯。因此，開(kāi)發(fā)一套適合高分辨率圖片的屬性編輯網(wǎng)絡(luò)顯得十分必要。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)中對(duì)于處理高分辨率人臉圖片時(shí)計(jì)算和內(nèi)存資源耗盡的問(wèn)題，提供一種基于分治融合的高清人臉屬性編輯方法。

本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：

步驟一：利用低清人臉編輯網(wǎng)絡(luò)對(duì)下采樣后的原始高清人臉圖像進(jìn)行第一次人臉屬性編輯，再將編輯后的人臉圖像上采樣恢復(fù)至原始尺寸；

步驟二：將原始高清人臉圖像與步驟一獲得的上采樣后的低清人臉編輯后的圖像做相同切片，將相同位置的切片差與低清人臉編輯后的圖像切片輸入高清人臉融合網(wǎng)絡(luò)中進(jìn)行第二次人臉屬性編輯；

所述的高清人臉融合網(wǎng)絡(luò)包括雙通道多層編碼器和單通道多層解碼器，所述的相同位置的切片差與低清人臉編輯后的圖像切片在雙通道多層編碼器中分別編碼，編碼結(jié)果按通道相加并與屬性差值向量融合，再輸入到單通道多層解碼器中進(jìn)行解碼，得到第二次人臉屬性編輯后的切片；所述的屬性差值向量是由人臉圖像的目標(biāo)屬性向量和源屬性向量作差得到的；

步驟三、將高清人臉融合網(wǎng)絡(luò)輸出的切片結(jié)果按位置拼接，得到最終的含新屬性的人臉圖像。

本發(fā)明的有益效果是，解決了現(xiàn)有人臉屬性編輯模型因尺寸過(guò)大而只能處理低分辨率人臉圖像的問(wèn)題，在大大降低顯存消耗的同時(shí)，也保證了屬性編輯后的人臉圖像擁有高分辨率，有利于搭載至計(jì)算和內(nèi)存資源有限的設(shè)備。

附圖說(shuō)明

圖1是基于注意力機(jī)制的低清人臉編輯網(wǎng)絡(luò)框架基本結(jié)構(gòu)圖。

圖2是基于分治融合的高清人臉編輯網(wǎng)絡(luò)框架基本結(jié)構(gòu)圖。

圖3是加權(quán)平均融合方法的示意圖。

圖4是本方法的實(shí)際應(yīng)用效果圖

具體實(shí)施方式

下面根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明。