[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)和雙邊濾波的面部瑕疵檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010932329.7
• 申請(qǐng)日: 2020-09-08
• 公開（公告）號(hào): CN112070158B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 張盛平;鄭順源;胡良校
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（威海）
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/80;G06V10/82;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南智本知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37301
• 代理人: 張平平;谷冬清

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和雙邊濾波的面部瑕疵檢測(cè)方法，其特征是，包括以下步驟：

步驟一、為人臉圖像數(shù)據(jù)標(biāo)注真實(shí)標(biāo)簽以用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；

步驟二、對(duì)訓(xùn)練樣本進(jìn)行隨機(jī)裁剪，并對(duì)瑕疵區(qū)域進(jìn)行過采樣；

步驟三、將剪裁所得的圖像進(jìn)行數(shù)據(jù)增強(qiáng)；

步驟四、通過對(duì)彩色圖像進(jìn)行雙邊濾波，并計(jì)算與原始圖像的殘差以提取圖像的高頻特征圖；

步驟五、分別將彩色圖像與高頻特征圖輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過輸入層的特征提取后進(jìn)行特征融合，包括：

對(duì)彩色圖像，分別經(jīng)過卷積核大小為5×5的常規(guī)卷積層與三組不同尺度的非對(duì)稱空洞卷積層；卷積核大小為5×5的常規(guī)卷積層輸入為3通道512×512像素彩色圖像，卷積核步長(zhǎng)設(shè)置為1，卷積核個(gè)數(shù)設(shè)置為64，則輸出為64通道512×512像素的特征圖，之后使用batchnorm層進(jìn)行批標(biāo)準(zhǔn)化；每一組非對(duì)稱空洞卷積包含一個(gè)卷積核大小為1×3的非對(duì)稱卷積層和一個(gè)卷積核大小為1×3的非對(duì)稱卷積層，卷積核步長(zhǎng)設(shè)置為n，同時(shí)卷積核空洞率也設(shè)置為n，卷積核個(gè)數(shù)設(shè)置為64，輸入圖像分別輸入兩個(gè)卷積核，將得到的輸出相加后使用batchnorm層進(jìn)行批標(biāo)準(zhǔn)化；將三組非對(duì)稱空洞卷積層的n分別設(shè)置為4、8、12，輸入均為3通道512×512像素彩色圖像，輸出均為64通道512×512像素的特征圖，將這三部分特征圖與5×5的常規(guī)卷積層的輸出四部分對(duì)應(yīng)通道相加得到64通道512×512像素的特征圖，然后使用ReLU激活函數(shù)激活；最后使用卷積核大小為7×7的常規(guī)卷積層，輸入為64通道512×512像素的特征圖，卷積核步長(zhǎng)設(shè)置為2，進(jìn)行2倍下采樣，卷積核個(gè)數(shù)設(shè)置為48，輸出為48通道256×256像素的特征圖，之后使用batchnorm層進(jìn)行批標(biāo)準(zhǔn)化，完成彩色圖像部分輸入層特征提?。?/p>

高頻特征圖，使用尺度為2的逆亞像素卷積進(jìn)行2倍降采樣，將3通道512×512像素的高頻特征圖，拆分為12通道256×256像素的特征圖；然后使用卷積核大小為7×7的常規(guī)卷積層，輸入為12通道256×256像素的特征圖，卷積核步長(zhǎng)設(shè)置為1，卷積核個(gè)數(shù)設(shè)置為16，輸出為16通道256×256像素的特征圖，之后使用batchnorm層進(jìn)行批標(biāo)準(zhǔn)化，完成高頻特征圖部分輸入層特征提??；

將彩色圖像經(jīng)過輸入層特征提取后的48通道256×256像素特征圖與高頻特征圖經(jīng)過輸入層特征提取后的16通道256×256像素特征圖拼接為64通道256×256像素特征圖；

步驟六、構(gòu)建面部瑕疵檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)模型，在淺層卷積模塊中加入基于多尺度非對(duì)稱空洞卷積改進(jìn)的SE模塊；具體為：

使用以ResNet101為骨架模型的DeepLab-v3+卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建面部瑕疵檢測(cè)模型，并在ResNet的殘差模塊Bottleneck中加入通道注意力機(jī)制SE模塊；ResNet101的編碼器部分共4個(gè)尺度的卷積模塊，每一個(gè)卷積模塊中都堆疊了一定數(shù)量的Bottleneck，從大尺度到小尺度，堆疊的個(gè)數(shù)分別為3、4、23、3；在每一個(gè)Bottleneck的輸出前，加入通道注意力機(jī)制SE模塊；

在淺層神經(jīng)網(wǎng)絡(luò)中，即在前兩個(gè)尺度的Bottleneck中，對(duì)SE模塊進(jìn)行改進(jìn)，在輸入特征圖與注意力權(quán)重向量相乘之前，對(duì)該模塊的輸入特征圖使用多尺度非對(duì)稱空洞卷積以編碼多尺度上下文信息；每一組非對(duì)稱空洞卷積包含一個(gè)卷積核大小為1×3的非對(duì)稱卷積層和一個(gè)卷積核大小為1×3的非對(duì)稱卷積層，卷積核步長(zhǎng)設(shè)置為n，同時(shí)卷積核空洞率也設(shè)置為n，卷積核個(gè)數(shù)與輸入特征圖通道數(shù)保持一致，輸入圖像分別輸入兩個(gè)卷積核，將得到的輸出相加后使用batchnorm層進(jìn)行批標(biāo)準(zhǔn)化，輸入特征圖經(jīng)過每一組非對(duì)稱空洞卷積層后通道數(shù)和大小均保持不變；在第一個(gè)卷積模塊中，為每個(gè)Bottleneck中的SE模塊加入4組非對(duì)稱空洞卷積，n分別為3、5、7、9，將4組非對(duì)稱空洞卷積后的特征圖相加后與注意力權(quán)重向量相乘；在第二個(gè)卷積模塊中，為每個(gè)Bottleneck中的SE模塊加入3組非對(duì)稱空洞卷積，n分別為3、5、7，將3組非對(duì)稱空洞卷積后的特征圖相加后與注意力權(quán)重向量相乘。

2.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和雙邊濾波的面部瑕疵檢測(cè)方法，其特征是，所述步驟一中為人臉圖像數(shù)據(jù)標(biāo)注真實(shí)標(biāo)簽，具體為：為CelebA-HQ高清人臉數(shù)據(jù)集中的圖像標(biāo)注像素級(jí)二分類真實(shí)標(biāo)簽，將與周圍正常皮膚在紋理或顏色上有明顯差異的區(qū)域標(biāo)注為瑕疵區(qū)。