[發明專利]一種基于二維和三維融合的特殊人臉表情識別的方法

有效

• 申請號: 201910571295.0
• 申請日: 2019-06-28
• 公開（公告）號: CN110348344B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 林斌;陳君楠
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/80
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 李亦慈;唐銀益

本發明公開了是一種基于二維和三維融合的特殊人臉表情識別的方法，裝置主要包括左攝像頭、右攝像頭、投影儀和棋盤標定板，左攝像頭、右攝像頭位于裝置的左右兩邊，投影儀位于左攝像頭和右攝像頭中點處，棋盤標定板在兩攝像頭前的共同視野處，三維數據的處理時提出了對深度圖進行區域劃分的方法，提取出有效區域作為輸入數據，其作用是能夠降低數據計算量，同時也不會對識別率有太大的影響，將二維數據與三維數據的識別結果進行融合，其作用是提高現有的單獨使用二維數據時的識別率，同時降低妝容、光線等環境因素對表情識別的影響。

技術領域

本發明涉及一種人臉表情識別方法，具體地說，是一種基于二維和三維融合的特殊人臉表情識別的方法，具是提取三維信息后輔助二維信息進行人臉表情識別的方法，其中包含了二維與三維的數據獲取的方法。

背景技術

人臉表情識別技術是對表情進行識別的技術，主要利用面部的一些幾何、紋理信息等進行剖析處理，傳統的表情識別算法的對象大部分面向二維圖像，該技術的處理對象是彩色或灰度二維圖，利用人臉的紋理信息來進行辨認。二維圖像本質上是人臉在某一光照條件下某一角度的亮暗信息，通過算法計算人臉特征點及其之間的關系，從而來進行表情識別，該方法容易受到光照情況、妝容變換等影響。因此，盡管目前二維人臉識別在很多情境下已經可以獲得不錯的識別率，但仍然存在著不容忽視的缺點。

隨著科技的發展，三維成像技術的數據采集系統也得到不斷完善和成熟，于是越來越多的研究人員參與到三維人臉識別技術的研究中。三維人臉識別的處理對象是人臉部三維點云數據，利用其立體結構信息與數據庫中的三維人臉信息進行匹配識別。因此相比于二維人臉表情識別技術，三維人臉表情識別具有以下優勢：(1)所用三維數據比二維數據更豐富具體，擁有的細節信息更多，因此能提高準確率；(2)采集所得的三維數據表示的是人臉的立體形狀特征，不容易受光照、妝容等影響，因此在適用范圍上會比二維人臉識別更廣更靈活。

盡管三維識別技術具有以上信息量更豐富、抗干擾能力更強等優點，但其也有以下幾個不可忽視的缺陷：(1)獲取數據方面：受三維獲取技術的影響，想要準確獲得三維數據存在一定難度；(2)處理數據方面：三維數據處理的算法復雜、計算量比二維數據處理要大，因此對計算機的硬件要求也更大。

發明內容

本發明正是針對現有技術存在的問題，提供了一種紋理信息與形狀信息結合考慮的融合人臉識別法，利用到二維和三維信息各自的優點并克服兩者各自的缺點的技術方案，提出了一種三維信息的提取并輔佐二維表情識別的方法，同時給出了二維三維人臉圖像信息的獲取方法，以及后續進行融合識別的方法。

本發明是通過以下技術方案來實現的：

本發明公開一種基于雙目結構光的二維三維融合的特殊人臉表情識別方法，實現方法的裝置主要包括左攝像頭、右攝像頭、投影儀和棋盤標定板，左攝像頭、右攝像頭位于裝置的左右兩邊，所述的投影儀位于左攝像頭和右攝像頭中點處，棋盤標定板在兩攝像頭前的共同視野處，具體步驟如下：

1)棋盤標定板改變位置和角度的情況下，左攝像頭、右攝像頭各自對其拍攝圖片共15～25組，并依次存儲下來；

2)單目標定：利用左攝像頭拍攝的圖片，和棋盤的實際尺寸進行單目標定，得到左攝像頭的焦距和畸變參數，右攝像頭同理；

3)雙目標定：等到步驟2)中左右攝像頭各自的標定參數后，利用兩兩對應的圖片，計算出攝像頭之間的位置關系、映射函數，接著計算出畸變校正和立體校正的映射變換；

4)人臉拍攝：在暗環境下，通過投影儀將結構光投射到被測人臉上，并且左右各拍攝一張人臉圖片；

5)二維表情識別：利用兩張二維圖片，首先對其進行直方圖均衡化和濾波去噪處理；然后進行人臉歸一化處理，包括灰度歸一化和幾何歸一化，其中灰度歸一化公式為：

x＝x/(max+0.0001) (1)