[發明專利]一種基于消費級RGB-D相機的人臉視覺外觀恢復方法

有效

• 申請號: 201810141092.3
• 申請日: 2018-02-11
• 公開（公告）號: CN108447085B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 張琪;任重
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/514
• 分類號: G06T7/514;G06T7/536;G06T7/70;G06T17/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開一種基于消費級RGB?D相機的人臉視覺外觀恢復方法，通過用消費級別的RGB?D相機采集人臉三維幾何模型和一組彩色照片作為算法輸入，對不準確的相機位姿、人臉幾何形狀以及耦合在彩色照片中的未知人臉材質和環境光照進行聯合優化，以恢復人臉幾何模型的視覺外觀。該方法能夠模擬出人臉皮膚較薄處因光線射入皮膚被皮下血管和組織散射、吸收，從陰影處離開所引起的微弱傾向紅色的偏移；且遵守能量守恒定律，更符合物理學規律，總體上看起來更為真實。本發明的方法能夠恢復出接近彩色照片的具有真實感的人臉視覺外觀。

技術領域

本發明涉及計算機圖形學領域，尤其涉及一種基于消費級RGB-D相機的人臉視覺外觀恢復方法。

背景技術

計算機圖形學中的三維模型通常包含兩方面的信息，即物體的形狀和物體的視覺外觀。傳統的三維建模工具雖然日益改進，但構建稍顯復雜的三維模型對于沒有專業背景的普通用戶來說，依舊是一件非常有難度的工作。通過專業的激光掃描技術能夠獲取較為精確的場景深度圖，但代價高昂且十分耗時。隨著各種面向普通消費者的深度相機的出現，基于深度相機的三維掃描和重建技術得到了飛速發展。Newcombe等人提出了一個叫做KinectFusion的算法(Newcombe R A,Izadi S,Hilliges O,et al.KinectFusion:Real-time dense surface mapping and tracking[C].Mixed and augmented reality(ISMAR),2011 10th IEEE international symposium on.IEEE,2011:127-136)，首次實現了基于消費級RGB-D相機的實時稠密三維重建，同時能夠獲得三維模型的粗略彩色外觀，為普通用戶獲取現實生活中各類物體和人物的幾何信息提供了重大的便利。但是該方法致力于三維重建，對模型視覺外觀只是簡單對RGB顏色進行加權平均，無法解決因不準確的相機位置和鏡頭的畸變等原因而導致的錯誤匹配和外觀模糊問題。

隨著計算機視覺、虛擬現實和多媒體通信領域對真實感模型的需求與日俱增，對模型進行具有真實感的視覺外觀恢復技術獲得了更多的關注。Zhou等人提出了一種ColorMap算法(Zhou Q Y,Koltun V.Color map optimization for 3D reconstructionwith consumer depth cameras[J].ACM Transactions on Graphics(TOG),2014,33(4):155)將消費級RGB-D相機的位置和鏡頭畸變加入優化，能夠對生活中的常見物體進行良好的材質恢復，但是算法沒有將物體表面明顯的鏡面反射高光加入考慮，因此只能對漫反射材質的物體進行恢復。Wu等人的工作(Wu H,Wang Z,Zhou K.Simultaneous localizationand appearance estimation with a consumer RGB-D camera[J].IEEE transactionson visualization and computer graphics,2016,22(8):2012-2023)把物體表面的鏡面反射高光加入考慮，獲得了具有真實感的材質恢復結果，不過作者的工作僅限于對不透明物體進行建模，對透明和半透明物體如人體的皮膚來說，材質表面可能發生對物體視覺外觀有著重要影響的次表面散射(Subsurface Scattering)現象，算法沒有將這一現象考慮進去。