[發(fā)明專利]臉部圖像處理裝置和臉部圖像處理程序

在審

• 申請?zhí)枺?/td>: 202110274666.6
• 申請日: 2021-03-15
• 公開（公告）號: CN113496195A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設計）人: 山田祐也;大須賀晉;上田康貴;河合雄太;加藤隆志;山田善之;小島真一
• 申請（專利權(quán)）人: 愛信精機株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 舒艷君;王海奇

臉部圖像處理裝置(10)具備：圖像坐標系坐標值導出部(102)，其通過檢測拍攝人物的臉部而得到的圖像的該臉部的器官的特征點各自的圖像坐標系的水平方向的坐標值亦即x坐標值和垂直方向的坐標值亦即y坐標值，并且推斷圖像坐標系的深度方向的坐標值亦即z坐標值，來導出該圖像坐標系的三維坐標值；相機坐標系坐標值導出部(103)，其根據(jù)由圖像坐標系坐標值導出部(102)導出的圖像坐標系的三維坐標值來導出相機坐標系的三維坐標值；以及參數(shù)導出部(104)，其將由相機坐標系坐標值導出部(103)導出的相機坐標系的三維坐標值應用于預先決定的三維臉部形狀模型，來導出該三維臉部形狀模型在相機坐標系中的模型參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及臉部圖像處理裝置和臉部圖像處理程序。

背景技術(shù)

以往，作為使用拍攝人物的臉部而得到的臉部圖像來導出三維臉部形狀模型在相機坐標系中的模型參數(shù)的技術(shù)，有以下的技術(shù)。

在非專利文獻1中公開如下的技術(shù)：使用從臉部圖像檢測出的特征點和三維臉部形狀模型的頂點的圖像投影點的投影誤差來進行參數(shù)的推斷。

另外，在非專利文獻2中公開如下的技術(shù)：使用從臉部圖像檢測出的特征點、從三維傳感器得到的特征點的凹凸信息、三維臉部形狀模型的頂點的圖像投影點的投影誤差來進行參數(shù)的推斷。

非專利文獻1：J.M.Saragih、S.Lucey and J.F.Cohn、“Face Alignment throughSubspace Constrained Mean-Shifts”、International Conference on Computer Vision(ICCV)2009.

非專利文獻2：T.Baltrusaitis、P.Robinson and L.-P.Morency、“3DConstrained Local Model for Rigid and Non-Rigid Facial Tracking”、Conferenceon Computer Vision and Pattern Recognition(CVPR)2012.

然而，在上述非專利文獻1所公開的技術(shù)中，進行使圖像觀測點與三維臉部形狀模型的圖像投影點的二維空間中的距離誤差最小化的最優(yōu)化計算，但通過投影變換將三維信息變換為二維信息。因此，產(chǎn)生x坐標值與z坐標值、以及y坐標值與z坐標值之間的模糊性，容易產(chǎn)生因該模糊性引起的推斷誤差，其結(jié)果為，存在三維臉部形狀模型的參數(shù)的推斷精度未必充分這樣的問題。

另外，在上述非專利文獻2所公開的技術(shù)中，由于使用三維傳感器，因此不耐太陽光等外部干擾，在該技術(shù)中也是，其結(jié)果為，存在三維臉部形狀模型的參數(shù)的推斷精度未必充分這樣的問題。

發(fā)明內(nèi)容

本發(fā)明是為了解決上述問題而完成的，其目的在于提供能夠精度良好地推斷三維臉部形狀模型的參數(shù)的臉部圖像處理裝置和臉部圖像處理程序。

為了實現(xiàn)上述目的，技術(shù)方案1所記載的臉部圖像處理裝置具備：圖像坐標系坐標值導出部，其通過檢測拍攝人物的臉部而得到的圖像的該臉部的器官的特征點各自的圖像坐標系的水平方向的坐標值亦即x坐標值和垂直方向的坐標值亦即y坐標值，并且推斷上述圖像坐標系的深度方向的坐標值亦即z坐標值，來導出上述圖像坐標系的三維坐標值；相機坐標系坐標值導出部，其根據(jù)由上述圖像坐標系坐標值導出部導出的上述圖像坐標系的三維坐標值來導出相機坐標系的三維坐標值；以及參數(shù)導出部，其將由上述相機坐標系坐標值導出部導出的上述相機坐標系的三維坐標值應用于預先決定的三維臉部形狀模型，來導出上述三維臉部形狀模型在上述相機坐標系中的模型參數(shù)。

技術(shù)方案2所記載的臉部圖像處理裝置根據(jù)技術(shù)方案1所記載的臉部圖像處理裝置，其中，上述圖像坐標系坐標值導出部通過與上述x坐標值和上述y坐標值的檢測并行地使用深層學習推斷上述z坐標值，來進行導出。