[發明專利]計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法

有效

• 申請號: 201280051327.0
• 申請日: 2012-12-04
• 公開（公告）號: CN103890811B
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 筑澤宗太郎;久保谷寬行;Z.牛;S.普拉納塔
• 申請（專利權）人: 松下電器（美國）知識產權公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 邸萬奎

技術領域

本發明涉及計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法。

背景技術

為了獲知人的感情或狀態，有時會估計表情發生變化的面部形狀。例如，在駕駛車輛中產生了睡意時，駕駛員的面部往往會產生皺眉、伴隨深呼吸而撅起嘴唇、鼓起臉頰這樣的表情變化。因此，這些表情變化成為用于檢查駕駛員的睡意的指標。

在以往使用的面部形狀估計方法中，為了提高面部形狀的估計精度，設置“眼、鼻或嘴等面部部位處于無表情時的標準形狀和位置”的限制，從而估計面部形狀。但是，在該面部形狀估計方法中，由于設置了該限制，因此無法檢測脫離標準形狀并發生了上述表情變化的面部。此外，在此，“表情變化”指的是面部處于不是無表情的狀態。

與此不同，在非專利文獻1所公開的技術(以下稱為現有技術1)中，預先學習產生了表情變化的面部的圖像，從而檢測表情變化時的面部部位的形狀和位置。另外，在專利文獻1(以下稱為現有技術2)所公開的技術中，對面部部位的三維位置進行測距，根據面部部位的三維位置估計面部的立體形狀。由此，在非專利文獻1或專利文獻1所公開的技術中，能夠檢測發生了上述表情變化的面部。

現有技術文獻

專利文獻

專利文獻1：日本特開2005-182247號公報

非專利文獻

非專利文獻1：Paul Viola and Michael J.Jones，”Rapid Object Detection using a Boosted Cascade of Simple Features″，IEEE CVPR，2001

發明內容

發明要解決的問題

但是，在現有技術1中，用于學習的圖像為二維信息，因此無法應對面部部位的形狀在二維上(平面上)沒有變化、但在三維上(立體上)發生變化時的表情變化。例如，在現有技術1中，無法對應于撅起嘴唇、鼓起臉頰等表情變化。

另外，在現有技術2中，為了檢測表情變化(估計面部的立體形狀)，需要對面部整體的三維位置進行測距，面部形狀估計的計算處理量變得龐大。因此，在現有技術2中，難以實時地檢測產生了表情變化的面部。

本發明的目的在于，提供計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法，其能夠以高精度和低計算量估計難以僅用二維圖像檢測的、產生了立體的表情變化的面部形狀。

解決問題的方案

本發明的一個方案的計測對象提取裝置，提取多個面部形狀候選中的、成為利用距離傳感器的三維形狀的計測對象的候選，采用的結構包括：面部紋理評價值計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與所述面部形狀候選的紋理的重合度的面部紋理評價值；似然計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀的三維坐標與所述面部形狀候選的三維坐標之間的第一似然；相關評價單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示所述面部紋理評價值與所述第一似然之間的相關的強度的第一相關評價值；提取單元，提取所述多個面部形狀候選中的所述第一相關評價值小于第一閾值的面部形狀候選作為所述計測對象；以及三維形狀計測單元，使用所述距離傳感器對基于所述輸入的面部圖像和由所述提取單元提取的面部形狀候選所設定的規定區域的三維形狀進行計測。

本發明的一個方案的面部形狀估計裝置采用的結構包括：所述計測對象提取裝置；所述三維形狀計測單元，對在所述計測對象提取裝置中作為所述計測對象提取出的面部形狀候選的三維形狀進行計測；形狀候選評價單元，對于所述多個面部形狀候選的每個面部形狀候選，基于所述面部紋理評價值和所述第一似然，計算第一形狀候選評價值；再評價單元，對于所述提取出的面部形狀候選的每個面部形狀候選，使用所述三維形狀計算第二形狀候選評價值；以及確定單元，基于所述第一形狀候選評價值和所述第二形狀候選評價值，從所述多個面部形狀候選中確定對所述面部圖像的估計形狀。