[發明專利]基于MTCNN的紅眼自動修復方法

在審

• 申請號: 202010413910.8
• 申請日: 2020-05-15
• 公開（公告）號: CN111738934A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 蘇雪平;高蒙;陳寧;任劼;李云紅;朱丹堯;段嘉偉
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

1.基于MTCNN的紅眼自動修復方法，其特征在于，具體按照以下步驟實施：

步驟1、將紅眼圖像輸入到MTCNN網絡中，MTCNN網絡檢測人臉并返回人臉的位置以及人臉的雙眼瞳孔、鼻尖和左右嘴角的橫縱坐標；

步驟2、針對步驟1得到的人臉的雙眼瞳孔坐標來計算雙眼瞳孔距離，然后再進行比例拓展，經過參數調整后得到ROI；

步驟3、對步驟2得到的ROI，進行遮蔽紅眼、清理瞳孔掩膜以及修復紅眼的操作，最后將處理后的圖像復制到原始圖像的眼睛區域，得到修復后的人臉圖像。

2.根據權利要求1所述的基于MTCNN的紅眼自動修復方法，其特征在于，所述步驟1具體按照以下步驟實施：

步驟1.1將輸入的紅眼圖像依據設定的尺寸創建圖像金字塔，將紅眼圖像進行多級縮放，得到一組不同尺寸的輸入圖像；

步驟1.2、將一組不同尺寸的圖像輸入到P-Net中，依次通過不同尺寸的卷積層與池化層生成特征圖，最后通過特征圖判斷人臉輪廓點，圖像由P-Net分析處理后產生人臉候選框和邊框回歸向量，再校準后得到若干個人臉候選框；

步驟1.3、將步驟1.2中得到的若干個人臉候選框輸入到R-Net中做進一步訓練；通過所設閾值繼續去除掉不達標的人臉候選框，并用非極大值抑制再去掉高度重疊的人臉候選框，得到進一步訓練后的若干個人臉候選框；

步驟1.4、將步驟1.3得到的進一步訓練后的若干個人臉候選框輸入到O-Net網絡中，O-Net網絡進行進一步精準定位人臉位置后，最后輸出人臉位置以及人臉的雙眼瞳孔、鼻尖和左右嘴角的橫縱坐標的特征點。

3.根據權利要求1所述的基于MTCNN的紅眼自動修復方法，其特征在于，步驟2中，所述雙眼瞳孔距離的計算具體按照如下步驟實施：

通過人臉檢測返回的雙眼坐標使用如下公式(6)計算雙眼瞳孔的距離：

其中，D_lr為人臉左右眼瞳孔的距離，和為左眼的橫縱坐標，和為右眼的橫縱坐標。

4.根據權利要求3所述的基于MTCNN的紅眼自動修復方法，其特征在于，步驟2中，所述比例拓展具體按照如下步驟實施：

通過所述雙眼瞳孔距離，按一定的比例調整，分別用矩形框標記出人臉左右眼的ROI，其計算公式如下：

其中，LEL_x,y為左眼矩形框左上角坐標，LER_x,y為左眼矩形框右下角坐標，REL_x,y右眼矩形框左上角坐標，RER_x,y右眼矩形框右下角坐標，imw和imh分別表示人臉圖像的寬和高。

5.根據權利要求1所述的基于MTCNN的紅眼自動修復方法，其特征在于，所述步驟3具體按照如下步驟實施：

步驟3.1、將ROI分割成紅、綠以及藍三個通道，然后創建掩膜，僅處理紅色瞳孔區域；最后將提取出的紅色瞳孔區域置為白色，其它區域置為黑色；

步驟3.2、對創建的掩膜進行輪廓檢測，提取出掩膜中可能為紅眼的白色區域，然后計算每個白色區域輪廓所構成的面積，并將具有最大面積的輪廓區域與像素點保存，精準定位出紅眼區域，最后對紅眼區域進行閉運算操作，去掉紅眼區域內的噪聲點；

步驟3.3、通過平均綠色通道和藍色通道來創建平均通道，并使用其像素值替換紅眼區域內的紅綠藍三個通道的所有像素值，然后合并紅綠藍三個通道，再采用雙邊濾波對修復區域進行平滑去噪處理，最后得到修復后的人臉圖像。

6.根據權利要求5所述的基于MTCNN的紅眼自動修復方法，其特征在于，步驟3.3中，所述雙邊濾波對修復區域進行平滑去噪處理具體按照如下公式(13)進行：

其中w(i,j,k,l)由空間域核w_d(i,j,k,l)和值域核w_r(i,j,k,l)相乘得到，具體如下公式(14)：

其中q(i,j)為模板窗口的其他系數的坐標；p(k,l)為模板窗口的中心坐標點；σ_d和σ_r為高斯函數的標準差；f(i,j)表示圖像在點q(i,j)處的像素值；f(k,l)表示圖像在點p(k,l)處的像素值。