[發(fā)明專利]一種基于分治融合的高清人臉屬性編輯方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111085995.2
• 申請(qǐng)日: 2021-09-16
• 公開（公告）號(hào): CN113781376A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 馮緣;陳凱祥;胡曜珺;劉盛;沈守楓
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

1.一種基于分治融合的高清人臉屬性編輯方法，其特征在于，包括以下步驟：

步驟一：利用低清人臉編輯網(wǎng)絡(luò)對(duì)下采樣后的原始高清人臉圖像進(jìn)行第一次人臉屬性編輯，再將編輯后的人臉圖像上采樣恢復(fù)至原始尺寸；

步驟二：將原始高清人臉圖像與步驟一獲得的上采樣后的低清人臉編輯后的圖像做相同切片，將相同位置的切片差與低清人臉編輯后的圖像切片輸入高清人臉融合網(wǎng)絡(luò)中進(jìn)行第二次人臉屬性編輯；

所述的高清人臉融合網(wǎng)絡(luò)包括雙通道多層編碼器和單通道多層解碼器，所述的相同位置的切片差與低清人臉編輯后的圖像切片在雙通道多層編碼器中分別編碼，編碼結(jié)果按通道相加并與屬性差值向量融合，再輸入到單通道多層解碼器中進(jìn)行解碼，得到第二次人臉屬性編輯后的切片；所述的屬性差值向量是由人臉圖像的目標(biāo)屬性向量和源屬性向量作差得到的；

步驟三、將高清人臉融合網(wǎng)絡(luò)輸出的切片結(jié)果按位置拼接，得到最終的含新屬性的人臉圖像。

2.根據(jù)權(quán)利要求1所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，所述的低清人臉編輯網(wǎng)絡(luò)的訓(xùn)練過程為：將所述的第一次人臉屬性編輯后得到的人臉圖像經(jīng)過卷積處理后分別作為判別器和屬性分類器的輸入，利用多任務(wù)學(xué)習(xí)的方式對(duì)低清人臉編輯網(wǎng)絡(luò)進(jìn)行訓(xùn)練；所述的多任務(wù)損失包括重建損失、對(duì)抗損失、屬性損失和分類器損失。

3.根據(jù)權(quán)利要求1所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，所述的高清人臉融合網(wǎng)絡(luò)的訓(xùn)練過程為：將步驟三得到的最終的含新屬性的人臉圖像經(jīng)過卷積處理后分別作為判別器和屬性分類器的輸入，利用多任務(wù)學(xué)習(xí)的方式對(duì)高清人臉融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練；所述的多任務(wù)損失包括重建損失、對(duì)抗損失、屬性損失和分類器損失。

4.根據(jù)權(quán)利要求1所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，所述雙通道多層編碼器輸出的編碼后的切片圖像采用加權(quán)平均法進(jìn)行融合，首先確定雙通道輸出的切片圖像image1，image2的公共區(qū)域region2，對(duì)公共區(qū)域的像素點(diǎn)重新進(jìn)行計(jì)算：

其中，表示融合之后的新的公共區(qū)域，和分別表示image1和image2的原始公共區(qū)域；weight為權(quán)重，計(jì)算公式為：

其中，x為切片在原始高清人臉圖像中的像素點(diǎn)坐標(biāo)，k表示權(quán)重。

5.根據(jù)權(quán)利要求1所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，在單通道多層解碼器的相鄰兩層之間引入注意力單元，所述的注意力單元的輸入為解碼器第l層輸出的特征向量與編碼器第p-l層輸出的特征向量，注意力單元的輸出作為解碼器第l+1層的輸入，解碼器最后一層的輸出作為編輯后的人臉圖像；p為編碼器和解碼器的層數(shù)。

6.根據(jù)權(quán)利要求5所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，在單通道多層解碼器的每一層輸入中均加入屬性差值向量。

7.根據(jù)權(quán)利要求6所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，所述的低清人臉編輯網(wǎng)絡(luò)采用編碼-解碼網(wǎng)絡(luò)，且解碼器結(jié)構(gòu)與高清人臉融合網(wǎng)絡(luò)中的單通道多層解碼器結(jié)構(gòu)相同。

8.根據(jù)權(quán)利要求7所述的基于分治融合的高清人臉屬性編輯方法，其特征在于，所述的低清人臉編輯網(wǎng)絡(luò)表示為：

其中，X′_t表示第一次人臉屬性編輯后的圖像，X′_i表示下采樣后的原始高清人臉圖像，A_d表示屬性差值向量，表示人臉圖像的目標(biāo)屬性向量，表示原始高清人臉圖像X_i的源屬性向量，表示低清人臉編輯網(wǎng)絡(luò)，表示低清人臉編輯網(wǎng)絡(luò)中的編碼器，表示低清人臉編輯網(wǎng)絡(luò)中的解碼器。