[發(fā)明專利]一種基于單個(gè)卷積神經(jīng)網(wǎng)絡(luò)的面部多特征點(diǎn)定位方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710967121.7
• 申請(qǐng)日: 2017-10-17
• 公開(kāi)（公告）號(hào): CN107808129B
• 公開(kāi)（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 練智超;朱虹;李德強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 薛云燕

1.一種基于單個(gè)卷積神經(jīng)網(wǎng)絡(luò)的面部多特征點(diǎn)定位方法，其特征在于，包括以下步驟：

步驟1、擴(kuò)充訓(xùn)練樣本；

步驟2、根據(jù)數(shù)據(jù)集提供的與每個(gè)樣本對(duì)應(yīng)的面部特征點(diǎn)坐標(biāo)，確定人臉邊框；

步驟3、采用縮放、旋轉(zhuǎn)、平移和翻轉(zhuǎn)四種操作來(lái)擴(kuò)充數(shù)據(jù)，彌補(bǔ)訓(xùn)練圖像特征點(diǎn)標(biāo)注的不足；

步驟4、根據(jù)人臉邊界框提取出人臉圖像，并進(jìn)行歸一化處理；

步驟5、設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)；

步驟6、訓(xùn)練網(wǎng)絡(luò)，設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率和每次處理數(shù)據(jù)的數(shù)量，完成面部多特征點(diǎn)的定位；

步驟2所述的根據(jù)數(shù)據(jù)集提供的與每個(gè)樣本對(duì)應(yīng)的面部特征點(diǎn)坐標(biāo)，確定人臉邊框，具體處理方式的偽代碼如下：

輸入：一張測(cè)試圖片IMG；與該測(cè)試圖像對(duì)應(yīng)的面部特征點(diǎn)坐標(biāo)(x_i,y_i)＝{(x₁,y₁),(x₂,y₂)···(x_m,y_m)}，i∈{1,...,m}，其中m為特征點(diǎn)的個(gè)數(shù)；

輸出：該測(cè)試圖片中的人臉邊界框的坐標(biāo){(X₁,Y₁),(X₂,Y₂)}

1)X₁←min(x_i)

2)Y₁←min(y_i)

3)X₂←max(x_i)

4)Y₂←max(y_i)

5)End；

步驟5所述的設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，具體如下：

網(wǎng)絡(luò)輸入的是224×224×3的彩色臉部圖像和相應(yīng)的面部特征點(diǎn)坐標(biāo)n，其中n是面部特征點(diǎn)總數(shù)的兩倍；

網(wǎng)絡(luò)層數(shù)分為八組：

第一組由第一卷積層(Conv1_1)和第一最大池化層(Pool1)組成；

第二組由第二卷積層(Conv2_1)和第二最大池化層(Pool2)組成；

第三組由堆疊的第三、四卷積層(Conv3_1、Conv3_2)和第三最大池化層(Pool3)組成；

第四組由堆疊的第五、六卷積層(Conv4_1、Conv4_2)和第四最大池化層(Pool4)組成；

第五組由堆疊的第七、八卷積層(Conv5_1、Conv5_2)和第五最大池化層(Pool5)組成；

第六組為第一個(gè)完全連接層(Fc6)，連接第五組中第五最大池化層(Pool5)的神經(jīng)元，輸出數(shù)量為4096；

第七組為第二個(gè)完全連接層(Fc7)，連接第一個(gè)完全連接層(Fc6)的神經(jīng)元，輸出數(shù)量為4096；

第八組為第三個(gè)完全連接層(Fc8)，連接輸出數(shù)為n，n是面部特征點(diǎn)總數(shù)的兩倍；

在卷積層中，卷積核的大小為3×3，設(shè)置步長(zhǎng)為1，使得像素逐個(gè)滑動(dòng)，邊緣擴(kuò)充設(shè)置為1，即寬度和高度都擴(kuò)充了2個(gè)像素，卷積運(yùn)算表示為：

y^j＝∑_ik^ij*xⁱ+b^j (1)

其中xⁱ和y^j分別是第i個(gè)輸入圖和第j個(gè)輸出圖，k^ij表示第i個(gè)輸入圖和第j個(gè)輸出圖之間的卷積核，b^j是第j個(gè)輸出圖的偏差，*表示卷積；

在池化層中，采用最大池化的方式，即對(duì)鄰域內(nèi)特征點(diǎn)取最大，最大池化表示為：

其中，第i個(gè)輸入映射xⁱ中的每個(gè)h×h局部區(qū)域，被合并為第i個(gè)輸出映射中的神經(jīng)元；表示i個(gè)輸出映射圖中坐標(biāo)為(j,k)的像素值，m,n分別表示局部區(qū)域內(nèi)的x軸坐標(biāo)與y軸坐標(biāo)，設(shè)置池化核的大小為3×3，步長(zhǎng)為2；

在每個(gè)卷積層之后添加非線性單元ReLU作為激活函數(shù)，在第一、二個(gè)完全連接層(Fc6、Fc7)增加Dropout操作，表達(dá)式如下：

r＝m_·*a(Wv) (3)

其中，v是n*1維列向量，W是d*n維的矩陣，m是個(gè)d*1的列向量，a(x)是一個(gè)滿足a(0)＝0的激發(fā)函數(shù)形式，m和a(Wv)相乘是對(duì)應(yīng)元素的相乘。