[發明專利]一種基于卷積神經網絡和雙邊濾波的面部瑕疵檢測方法

有效

• 申請號: 202010932329.7
• 申請日: 2020-09-08
• 公開（公告）號: CN112070158B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 張盛平;鄭順源;胡良校
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 濟南智本知識產權代理事務所(普通合伙) 37301
• 代理人: 張平平;谷冬清

本發明公開了一種基于卷積神經網絡和雙邊濾波的面部瑕疵檢測方法，包括以下步驟：為人臉圖像數據標注真實標簽以用于卷積神經網絡的訓練；對訓練樣本進行隨機裁剪，并對瑕疵區域進行過采樣；將剪裁所得的圖像進行數據增強；通過對彩色圖像進行雙邊濾波，并計算與原始圖像的殘差以提取圖像的高頻特征圖；分別將彩色圖像與高頻特征圖輸入卷積神經網絡，經過輸入層的特征提取后進行特征融合；構建面部瑕疵檢測的卷積神經網絡模型，在淺層卷積模塊中加入基于多尺度非對稱空洞卷積改進的SE模塊。本發明可以有效地回歸出圖像每一像素點屬于瑕疵的概率，從而得到更好的面部瑕疵檢測結果。

技術領域

本發明涉及圖像處理和模式識別技術領域，尤其是一種基于深度學習和雙邊濾波的面部瑕疵檢測方法。

背景技術

面部瑕疵檢測是計算機視覺領域的一個重要研究方向，它在人像美化和人臉跟蹤領域具有廣泛的應用。目前，大部分現有的瑕疵檢測方法使用SVM分類器或最大期望算法，對提取的面部特征進行分類，判斷其是否為面部瑕疵。在特征提取時，可利用Gabor變換、小波變換、Canny算子、DOG算子等方法，最大化面部瑕疵區域特征與正常皮膚區域特征之間的距離，使其更有利于分類。同時，隨著卷積神經網絡在各領域的成功應用，基于卷積神經網絡的面部瑕疵檢測方法也隨之出現。但是在現有的基于深度學習的方法中，不論是以局部圖像塊作為輸入的方法或是以整幅面部圖像作為輸入的方法，它們都忽略了頻域特征在面部瑕疵檢測中的作用。

發明內容

本發明的目的是提供一種基于卷積神經網絡和雙邊濾波的面部瑕疵檢測方法，通過面部彩色圖像與雙邊濾波圖像在卷積神經網絡淺層的特征提取與融合，提高卷積神經網絡對面部瑕疵的判別能力；通過在淺層神經網絡中加入多尺度非對稱空洞卷積，增強卷積神經網絡在淺層特征中對上下文信息的利用。

為實現上述目的，本發明采用下述技術方案：

一種基于卷積神經網絡和雙邊濾波的面部瑕疵檢測方法，包括以下步驟：

為人臉圖像數據標注真實標簽以用于卷積神經網絡的訓練；

對訓練樣本進行隨機裁剪，并對瑕疵區域進行過采樣；

將剪裁所得的圖像進行數據增強；

通過對彩色圖像進行雙邊濾波，并計算與原始圖像的殘差以提取圖像的高頻特征圖；

分別將彩色圖像與高頻特征圖輸入卷積神經網絡，經過輸入層的特征提取后進行特征融合；

構建面部瑕疵檢測的卷積神經網絡模型，在淺層卷積模塊中加入基于多尺度非對稱空洞卷積改進的SE模塊。

進一步地，所述為人臉圖像數據標注真實標簽以用于卷積神經網絡的訓練，包括：為CelebA-HQ高清人臉數據集中的圖像標注像素級二分類真實標簽，將痣、粉刺、痤瘡、色斑、雀斑等與周圍正常皮膚在紋理或顏色上有明顯差異的區域標注為瑕疵。

進一步地，所述對訓練樣本進行隨機裁剪，并對瑕疵區域進行過采樣，包括：

在原始高清人臉圖像中隨機裁剪出滿足卷積神經網絡輸入大小的圖像塊，若隨機裁剪所得圖像塊中不包含瑕疵區域或包含的瑕疵區域過少，則重新進行隨機裁剪，若重復次數達到設定次數的上限，則使用最后一次隨機裁剪所得的圖像塊。

進一步地，所述將剪裁所得的圖像進行數據增強，包括：對原始數據在左右翻轉、銳度調整、飽和度調整、亮度調整、對比度調整、仿射變換、彈性變換這七種方法中隨機選擇并隨機組合后先后順序進行數據增強，每種數據增強的方式都以同樣的概率被選擇。

進一步地，所述通過對彩色圖像進行雙邊濾波，并計算與原始圖像的殘差以提取圖像的高頻特征圖，包括：使用雙邊濾波器對彩色圖像進行雙邊濾波，所得圖像視為低頻圖像，然后與原始圖像作差，得到殘差圖，將殘差圖數值放大并截斷0至255范圍外的數值，所得結果視為高頻特征圖。