[發(fā)明專利]用于實(shí)時(shí)、物理準(zhǔn)確且逼真的眼鏡試戴的流程和方法

有效

• 申請?zhí)枺?/td>: 201680011679.1
• 申請日: 2016-02-22
• 公開（公告）號: CN107408315B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 阿里埃爾·庫克魯恩;杰羅姆·蓋納爾;希拉維·勒加洛;克里斯托夫·德阿伊
• 申請（專利權(quán)）人: FITTINGBOX公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T3/60;G06T7/13;G06K9/00;G06K9/46;G02C13/00
• 代理公司: 北京漢德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11328
• 代理人: 錢鶯勤;陳曦

本發(fā)明旨在提供一種用于創(chuàng)建位于一個(gè)真實(shí)用戶臉部圖像上的一副虛擬眼鏡的實(shí)時(shí)逼真圖像的方法，所述真實(shí)用戶臉部圖像來自單個(gè)圖像、一組圖片、視頻剪輯或?qū)崟r(shí)相機(jī)視頻流，該方法特征在于包括以下步驟：?100、一個(gè)人臉分析過程，該過程用于估計(jì)用戶臉部的3D旋轉(zhuǎn)矩陣、3D平移矢量和形態(tài)參數(shù)；?200、一個(gè)眼鏡定位過程，該過程與用于外觀或真實(shí)尺寸模擬的試戴模式相關(guān)聯(lián)，用于估計(jì)虛擬眼鏡的3D旋轉(zhuǎn)矩陣、3D平移矢量和全局與局部變形參數(shù)，以及眼鏡腿與眼鏡框的連接，適于步驟100中計(jì)算得到的形態(tài)參數(shù)；?400、一個(gè)逼真渲染過程，該過程中將真實(shí)用戶臉部圖像與在步驟200中定位的虛擬眼鏡進(jìn)行結(jié)合。

本發(fā)明涉及圖像處理和圖像合成領(lǐng)域，具體涉及虛擬對象到相片或視頻的實(shí)時(shí)集成。

背景技術(shù)

本發(fā)明是對相同申請人的其他發(fā)明的改進(jìn)。

本發(fā)明的情境是盡可能逼真地對一個(gè)對象進(jìn)行實(shí)時(shí)虛擬試戴，這些對象通常是但不限于集成到相片或視頻中的眼鏡，這些相片或視頻呈現(xiàn)大體上位于相機(jī)前方的人臉。

網(wǎng)絡(luò)銷售增長、庫存有限或其他任何防止或妨礙對真實(shí)對象進(jìn)行真實(shí)試穿的原因催生了對真實(shí)對象進(jìn)行虛擬試穿的需要。就眼鏡而言，目前基于虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)的解決方案是不充分的，因?yàn)檫@些方案缺乏逼真度或互動(dòng)性。此外，這些方案的計(jì)算大多需要大量數(shù)據(jù)和時(shí)間。

相同申請人于2010年1月18日申請的專利申請F(tuán)R 1050305已在本領(lǐng)域公開。

發(fā)明內(nèi)容

本發(fā)明首先旨在提供一種用于創(chuàng)建一個(gè)真實(shí)用戶臉部圖像上的一副虛擬眼鏡的最終實(shí)時(shí)逼真圖像的方法，所述真實(shí)用戶臉部圖像來自單個(gè)圖像、一組圖片、視頻剪輯或?qū)崟r(shí)相機(jī)視頻流，該方法特征在于包括以下步驟：

-100、一個(gè)人臉分析過程，所述過程用于估計(jì)用戶臉部的3D旋轉(zhuǎn)矩陣、3D平移矢量和形態(tài)參數(shù)；

-200、一個(gè)眼鏡定位過程，所述過程與用于外觀或真實(shí)尺寸模擬的試戴模式相關(guān)聯(lián)，用于估計(jì)虛擬眼鏡的3D旋轉(zhuǎn)矩陣、3D平移矢量和全局與局部變形參數(shù)，以及眼鏡腿與眼鏡框的連接，以適于步驟100中計(jì)算得到的形態(tài)參數(shù)；

-400、一個(gè)逼真渲染過程，所述過程用于將真實(shí)用戶臉部圖像與在步驟200中定位的虛擬眼鏡進(jìn)行結(jié)合。

在多個(gè)實(shí)施方式中，可以在技術(shù)上可行的情況下結(jié)合使用：

-步驟100還包括估計(jì)用戶臉部的表情參數(shù)。

-步驟100還包括估計(jì)固有相機(jī)參數(shù)。

-步驟200還包括一個(gè)眼鏡3D模型分析過程，該過程提供參數(shù)化、將眼鏡分割成多個(gè)部分和網(wǎng)格校正。

-步驟200包括兩次眼鏡定位過程，該過程與用于外觀或真實(shí)尺寸模擬的試戴模式相關(guān)聯(lián)，用于估計(jì)虛擬眼鏡的3D旋轉(zhuǎn)矩陣、3D平移矢量和全局與局部變形參數(shù)，以及眼鏡腿與眼鏡框的連接，所述過程適于步驟100中計(jì)算得到的形態(tài)參數(shù)。

-本方法還包括一個(gè)人臉跟蹤算法的步驟300，該算法給出位置和旋轉(zhuǎn)，并允許實(shí)時(shí)改進(jìn)來自多個(gè)圖像的人臉參數(shù)。

-步驟400包括估計(jì)不透明度校正和色調(diào)映射參數(shù)。

-本方法包括：

-使用一個(gè)平行處理流水線對圖像采集、場景分析過程和渲染進(jìn)行去相關(guān)；

-一個(gè)快速3D人臉姿態(tài)恢復(fù)過程；

-使用一個(gè)頭部運(yùn)動(dòng)模型和控制過濾器始終向渲染過程提供每一幀處的平滑的3D姿態(tài)。

-在步驟100的實(shí)時(shí)人臉分析過程中，使用臉部用戶模型和與檢測到的特征的相對應(yīng)的圖像輪廓和3D語義點(diǎn)來對參數(shù)(用戶臉部的3D旋轉(zhuǎn)矩陣R、3D平移矢量T、形態(tài)參數(shù)α和表情參數(shù)β)進(jìn)行估計(jì)。在這種情況下，具體來說，使用多于一個(gè)圖像對參數(shù)進(jìn)行估計(jì)。