[發明專利]一種基于一次投影結構光平行條紋圖案的實時人臉三維測量方法

在審

• 申請號: 201811034867.3
• 申請日: 2018-09-06
• 公開（公告）號: CN110879947A
• 公開（公告）日: 2020-03-13
• 發明（設計）人: 王振洲
• 申請（專利權）人: 山東理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于一次投影結構光平行條紋圖案的實時人臉三維測量方法。通過結構光投影裝置，將單幅結構光平行條紋圖案投影到被測人臉表面，通過單個攝像裝置記錄變形的結構光條紋圖案，通過圖像處理技術自動檢測出受鼻子遮擋區域影響的條紋，不受鼻子遮擋區域影響的條紋以及受耳朵高度劇烈變化影響的條紋。通過條紋聚類技術分別對受鼻子遮擋區域影響的條紋，不受鼻子遮擋區域影響的條紋以及受耳朵高度劇烈變化影響的條紋進行獨立的條紋聚類。在所有的條紋被聚類之后，在一副圖像中從上至下依次標識它們。依次標識后的條紋通過樣條函數擬合，縱坐標提取與樣條函數內插，生成縱坐標圖。通過縱坐標圖與標定好的系統參數實時計算出三維人臉。

技術領域

本發明涉及光學三維傳感技術，特別是涉及通過投影一幅平行黑白條紋或者彩色條紋組成的圖案，通過針對人臉特征的圖像處理方法，實現對人臉表面三維形狀的實時測量。

背景技術

本發明涉及一種基于一次投影結構光的實時三維人臉測量方法。基于一次投影結構光的三維測量技術既能測量靜態人臉的三維數據，也能測量動態人臉的三維數據。靜態人臉的三維測量在人臉識別、輔助人臉手術等領域起著重要作用。而人臉動態表情的三維測量在計算機動畫和游戲、數字影視、虛擬現實、遠程網絡視頻會議、可視電話、人臉表情識別、輔助教育等領域有著廣泛的需求與應用。

目前用于人臉三維測量的技術主要包括雙目/多目視覺技術，多次投影結構光技術，一次投影實時結構光技術，基于雙目的一次投影實時結構光技術以及三維激光掃描技術等。雙目/多目視覺技術算法優點是簡單靈活成本低，缺點是復雜度高，很難達到實時的要求,魯棒性差，容易受人臉紋理或者光照條件的影響,請參考文獻N. Uchida, 3D facerecognition using passive stereo vision, Proc. of IEEE Int. Conf. on ImageProcessing 2005, (2005)。多次投影結構光技術優點是魯棒性強，缺點是效率低，需要多幅圖像才能計算出三維人臉，此外容易受外界光線的干擾，請參考文獻J. Geng,“Structured light 3D surface imaging: a tutorial,” Adv Opt Photonics, Vol. 3No. 2, pp.128-160, (2011)。一次投影實時結構光技術的優點是實時性強，缺點是魯棒性差，請參見文獻M. Takeda, Q. Gu, M. Kinoshita, H. Takai and Y. Takahashi,“Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement of objects with large height discontinuitiesand/or surface isolations”, Applied Opt., Vol. 36, No. 22, pp. 5347, (1997)。基于雙目的一次投影實時結構光技術優點是魯棒性與效率偏強。缺點是受環境噪音影響大，對不連續物體可能產生錯誤的三維信息，請參見文獻J. Davis, D. Nehab, R.Ramamoorthi and S. Rusinkiewicz, “Spacetime stereo: a unifying framework fordepth from triangulation” IEEE Trans. Pattern Anal. Mach. Intell., 27(2),296-302 (2005)。三維激光掃描技術的優點是魯棒性與實時性強，缺點是成本高價格貴，請參考一款典型產品FARO Focus3D 120的報價。相比之下，本發明具有實時性與魯棒性強，成本低等優點。