[發(fā)明專利]一種基于二維和三維融合的特殊人臉表情識(shí)別的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910571295.0
• 申請(qǐng)日: 2019-06-28
• 公開（公告）號(hào): CN110348344B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 林斌;陳君楠
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/80
• 代理公司: 杭州中成專利事務(wù)所有限公司 33212
• 代理人: 李亦慈;唐銀益

1.一種基于雙目結(jié)構(gòu)光的二維三維融合的特殊人臉表情識(shí)別方法，其特征在于，實(shí)現(xiàn)方法的裝置主要包括左攝像頭(1)、右攝像頭(2)、投影儀(3)和棋盤標(biāo)定板(4)，所述的左攝像頭(1)、右攝像頭(2)位于裝置的左右兩邊，所述的投影儀(3)位于左攝像頭(1)和右攝像頭(2)中點(diǎn)處，所述的棋盤標(biāo)定板(4)在兩攝像頭前的共同視野處，具體步驟如下：

1)棋盤標(biāo)定板(4)改變位置和角度的情況下，左攝像頭(1)、右攝像頭(2)各自對(duì)其拍攝圖片共15～25組，并依次存儲(chǔ)下來；

2)單目標(biāo)定：利用左攝像頭(1)拍攝的圖片，和棋盤的實(shí)際尺寸進(jìn)行單目標(biāo)定，得到左攝像頭(1)的焦距和畸變參數(shù)，右攝像頭(2)同理；

3)雙目標(biāo)定：等到步驟2)中左右攝像頭(2)各自的標(biāo)定參數(shù)后，利用兩兩對(duì)應(yīng)的圖片，計(jì)算出攝像頭之間的位置關(guān)系、映射函數(shù)，接著計(jì)算出畸變校正和立體校正的映射變換；

4)人臉拍攝：在暗環(huán)境下，將結(jié)構(gòu)光投射到被測(cè)人臉(5)上，并且左右各拍攝一張人臉圖片；

5)二維表情識(shí)別：利用兩張二維圖片，首先對(duì)其進(jìn)行直方圖均衡化和濾波去噪處理；然后進(jìn)行人臉歸一化處理，包括灰度歸一化和幾何歸一化，其中灰度歸一化公式為：

x_new＝x/(max+0.0001) (1)

x_new為處理后圖片中各個(gè)像素點(diǎn)的灰度值，x為原圖片中各個(gè)像素點(diǎn)的灰度值，max為灰度值最大點(diǎn)的值；

6)三維數(shù)據(jù)計(jì)算：利用左右兩圖以及雙目標(biāo)定參數(shù)，先進(jìn)行立體匹配，計(jì)算出攜帶三維信息的點(diǎn)云數(shù)據(jù)；

7)三維表情識(shí)別：首先利用柵格化處理，將無序的點(diǎn)云數(shù)據(jù)插值后轉(zhuǎn)變?yōu)橐?guī)則的網(wǎng)格數(shù)據(jù)，具體插值方法為格點(diǎn)樣條函數(shù)法，然后存為深度信息圖；接下來進(jìn)行特征點(diǎn)的提取，包括鼻尖點(diǎn)、眼角點(diǎn)、嘴角點(diǎn)；接下來利用特征點(diǎn)對(duì)深度圖進(jìn)行區(qū)域劃分，選取出眼睛和嘴巴部分，重組為后續(xù)訓(xùn)練網(wǎng)絡(luò)所需輸入數(shù)據(jù)的大小的灰度圖數(shù)據(jù)；最后將得到的數(shù)據(jù)用已完成訓(xùn)練的模型進(jìn)行表情識(shí)別；

8)完成步驟1)-3)后，不斷重復(fù)步驟4)-7)，其中5)中歸一化后的圖存入二維數(shù)據(jù)庫，6)中點(diǎn)云數(shù)據(jù)存入三維數(shù)據(jù)庫，直至獲取足夠的二維和三維數(shù)據(jù)庫，然后利用自己搭建的網(wǎng)絡(luò)訓(xùn)練模型進(jìn)行學(xué)習(xí)；

9)識(shí)別過程：重復(fù)步驟4)-7)，獲取5)的二維數(shù)據(jù)和6)的三維數(shù)據(jù)后分別投入兩個(gè)完成訓(xùn)練的模型中進(jìn)行識(shí)別，得到二維和三維識(shí)別下各表情的概率分布后，將其進(jìn)行相加處理后，選取概率值最大的識(shí)別結(jié)果作為最終識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于雙目結(jié)構(gòu)光的二維三維融合的特殊人臉表情識(shí)別方法，其特征在于，所述的幾何歸一化的具體步驟為：

第一步，找到特征點(diǎn)，將雙眼和鼻尖作為三個(gè)特征點(diǎn)，得到雙眼間距d，雙眼中點(diǎn)O；

第二步，利用雙眼的坐標(biāo)值對(duì)圖片進(jìn)行旋轉(zhuǎn)變換，使得人臉方向轉(zhuǎn)正；

第三步，根據(jù)面部的雙眼和嘴巴特征點(diǎn)，確定想要的矩形數(shù)據(jù)的裁剪區(qū)域，以O(shè)為原點(diǎn)，上下左右各截取合理范圍，包括足夠的人臉信息；

第四步，對(duì)截取到的表情區(qū)域圖像進(jìn)行尺度變化，使其歸一化為相同大小的圖片；

最后將預(yù)處理后得到的灰度值矩陣用已完成訓(xùn)練的模型進(jìn)行表情識(shí)別即可。

3.根據(jù)權(quán)利要求1或2所述的基于雙目結(jié)構(gòu)光的二維三維融合的特殊人臉表情識(shí)別方法，其特征在于，訓(xùn)練數(shù)據(jù)的獲取分為二維數(shù)據(jù)和三維數(shù)據(jù)的獲取，二維數(shù)據(jù)完成所述的步驟5)中的預(yù)處理后即可存入二維數(shù)據(jù)庫；三維數(shù)據(jù)完成所述的步驟7)中的預(yù)處理后可存入三維數(shù)據(jù)庫，當(dāng)數(shù)據(jù)庫樣本足夠大時(shí)，各自進(jìn)行學(xué)習(xí)訓(xùn)練，得到訓(xùn)練好后的模型，接下來的識(shí)別即分別利用兩個(gè)模型，計(jì)算各自的概率分布后進(jìn)行融合。