[發(fā)明專利]一種人臉圖像中眼鏡去除方法及裝置

有效

• 申請?zhí)枺?/td>: 201680087316.6
• 申請日: 2016-10-18
• 公開（公告）號: CN109416727B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 譚文偉;林倞;張冬雨
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 馮艷蓮

1.一種人臉圖像中眼鏡去除方法，其特征在于，包括：

獲取待檢測圖像，所述待檢測圖像為佩戴眼鏡的人臉圖像；

通過深度卷積神經(jīng)網(wǎng)絡(luò)模型的第一卷積層提取所述待檢測圖像中的人臉面部特征；

通過所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的第二卷積層確定所述人臉面部特征中的眼睛區(qū)域特征，并過濾所述眼睛區(qū)域特征中的眼鏡區(qū)域特征；

通過所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的第一反卷積層修正經(jīng)過濾后的人臉面部特征；

通過所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的第二反卷積層生成修正后的所述人臉面部特征中的眼鏡區(qū)域?qū)?yīng)的人臉面部特征，得到去除眼鏡的人臉圖像。

2.如權(quán)利要求1所述的方法，其特征在于，所述第一反卷積層的卷積核尺寸與所述第二卷積層的卷積核尺寸相等，所述第二反卷積層的卷積核尺寸與所述第一卷積層的卷積核尺寸相等。

3.如權(quán)利要求1所述的方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型通過如下方式訓(xùn)練得到：

將M*N個(gè)合成人臉圖像輸入初始化的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代處理；所述初始化的深度卷積神經(jīng)網(wǎng)絡(luò)模型包括權(quán)重和偏置；所述M*N個(gè)合成人臉圖像由M個(gè)未佩戴眼鏡的人臉圖像與N個(gè)眼鏡圖像合成得到的；其中，M，N均為大于1的正整數(shù)；

在第K次迭代后，獲取所述合成人臉圖像的未佩戴眼鏡的人臉圖像與第K次迭代后得到的圖像之間的誤差值；所述K為取遍不大于M*N-1的正整數(shù)；

基于所述誤差值，調(diào)整第K+1次迭代過程所使用的權(quán)重和偏置。

4.如權(quán)利要求3所述的方法，其特征在于，所述M*N個(gè)合成人臉圖像通過如下方式得到：

獲取M個(gè)所述未佩戴眼鏡的人臉圖像，并獲取N個(gè)所述眼鏡圖像；

針對第a個(gè)眼鏡圖像以及第b個(gè)未佩戴眼鏡的人臉圖像進(jìn)行處理，使第a個(gè)眼鏡圖像中左眼鏡框的中心坐標(biāo)與所述第b個(gè)未佩戴眼鏡的人臉圖像中左眼的中心坐標(biāo)相同，所述第a個(gè)眼鏡圖像中右眼鏡框的中心坐標(biāo)與所述第b個(gè)未佩戴眼鏡的人臉圖像中右眼的中心坐標(biāo)相同；所述a取遍小于或者等于N的所有正整數(shù)，所述b取遍小于或者等于M的所有正整數(shù)；

將所述第b個(gè)未佩戴眼鏡的人臉圖像中重合位置的像素替換為所述第a個(gè)眼鏡圖像中所述重合位置的像素得到一個(gè)合成人臉圖像，所述重合位置為所述未佩戴眼鏡的人臉圖像與所述眼鏡圖像坐標(biāo)相同的像素的位置。

5.如權(quán)利要求4所述的方法，其特征在于，針對第a個(gè)眼鏡圖像以及第b個(gè)未佩戴眼鏡的人臉圖像進(jìn)行處理，符合下述公式要求：

其中，

θ表示第一連線和第二連線的夾角，第一連線表示所述第a個(gè)眼鏡圖像的左眼鏡框的中心坐標(biāo)與右眼鏡框的中心坐標(biāo)的連線，第二連線表示所述第b個(gè)未佩戴眼鏡的人臉圖像的左眼的中心坐標(biāo)與右眼的中心坐標(biāo)的連線；

(x₁,y₁)表示所述左眼鏡框的中心坐標(biāo)、(x₂,y₂)表示所述右眼鏡框的中心坐標(biāo)、(x₃,y₃)表示所述左眼的中心坐標(biāo)、(x₄,y₄)表示所述右眼的中心坐標(biāo)；

(x₅,y₅)＝(x₂-x₁,y₂-y₁)、(x₆,y₆)＝(x₄-x₃,y₄-y₃)；

s＝d₂/d₁，

當(dāng)y₅y₆時(shí)，θ＝α，否則θ＝-α。

6.如權(quán)利要求1～5任一所述的方法，其特征在于，在獲取待檢測圖像之后，通過深度卷積神經(jīng)網(wǎng)絡(luò)模型的第一卷積層提取所述待檢測圖像中的人臉面部特征之前，還包括：

對所述待檢測圖像執(zhí)行歸一化處理。