[發明專利]用于實時、物理準確且逼真的眼鏡試戴的流程和方法

有效

• 申請號: 201680011679.1
• 申請日: 2016-02-22
• 公開（公告）號: CN107408315B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 阿里埃爾·庫克魯恩;杰羅姆·蓋納爾;希拉維·勒加洛;克里斯托夫·德阿伊
• 申請（專利權）人: FITTINGBOX公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T3/60;G06T7/13;G06K9/00;G06K9/46;G02C13/00
• 代理公司: 北京漢德知識產權代理事務所(普通合伙) 11328
• 代理人: 錢鶯勤;陳曦

1.用于創建位于一個真實用戶臉部圖像上的一副虛擬眼鏡的實時逼真圖像的方法，所述真實用戶臉部圖像來自視頻剪輯或實時相機視頻流，該方法特征在于包括以下步驟：

-步驟100、一個人臉分析過程，所述人臉分析過程用于估計所述用戶臉部的3D旋轉矩陣、3D平移矢量和形態參數；

-步驟200、一個眼鏡定位過程，其與用于外觀或真實尺寸模擬的試戴模式相關聯，該眼鏡定位過程用于估計所述虛擬眼鏡的3D旋轉矩陣、3D平移矢量、和全局與局部變形參數，以及眼鏡腿與眼鏡框的連接，以適于步驟100中計算得到的所述形態參數；

-步驟400、一個逼真渲染過程，所述逼真渲染過程與將所述真實用戶臉部圖像與在步驟200中定位的所述虛擬眼鏡進行結合，

其中所述虛擬眼鏡的全局與局部變形參數包括所述虛擬眼鏡的眼鏡腿的非剛性變形。

2.根據權利要求1所述的方法，其中所述方法還包括一個人臉跟蹤算法的步驟300，所述人臉跟蹤算法提供位置和旋轉，并允許實時改進來自多個圖像的人臉參數，根據跟蹤分數選取多個關鍵幀，所述多個關鍵幀具有關聯跟蹤點和估計參數，從所述多個關鍵幀中選擇就參數距離而言的一個最近的關鍵幀作為跟蹤過程中使用的當前關鍵幀。

3.根據權利要求2所述的方法，其中，所述步驟300還包括一個多分辨率模板跟蹤過程，以通過2D模板跟蹤在當前圖像中找到響應的匹配。

4.根據權利要求1所述的方法，其中，所述步驟100還包括估計所述用戶臉部的表情參數。

5.根據權利要求1所述的方法，其中，所述步驟100還包括估計固有相機參數。

6.根據權利要求1所述的方法，其中，所述步驟200還包括一個眼鏡3D模型分析過程，該過程提供參數化、將眼鏡分割成多個部分和網格校正。

7.根據權利要求1所述的方法，其中，所述步驟200包括兩次眼鏡定位過程，其與用于外觀或真實尺寸模擬的試戴模式相關聯，所述兩次眼鏡定位過程用于估計所述虛擬眼鏡的所述3D旋轉矩陣、所述3D平移矢量、和所述全局與局部變形參數，以及眼鏡腿與眼鏡框的連接，以適于步驟100中計算得到的所述形態參數。

8.根據權利要求1所述的方法，其中，所述步驟400包括估算不透明度校正和色調映射參數。

9.根據權利要求1所述的方法，其中，所述方法包括：

-使用一個平行處理流水線對圖像采集、場景分析過程、和渲染進行去相關；

-一個快速3D人臉姿態恢復過程；

-使用一個頭部運動模型和控制過濾器始終向所述渲染過程提供每一幀處的平滑的3D姿態。

10.根據權利要求1所述的方法，其中，在所述步驟100的所述實時人臉分析過程中，使用臉部用戶模型和與檢測到的特征相對應的圖像輪廓和3D語義點來對參數進行估計，所述參數包括所述用戶臉部的3D旋轉矩陣R、3D平移矢量T、形態參數α和表情參數β。

11.根據權利要求10所述的方法，其中，使用多于一個圖像對參數進行估計。

12.根據權利要求1所述的方法，其中，所述眼鏡定位過程包括：

-a、一個離線處理步驟，該步驟用于根據精確參數化的一個3D模型來創建一個對稱和分割的眼鏡對象，以及用于在參考系統中對眼鏡進行重新定位，所述分割的眼鏡對象包括眼鏡腿和眼鏡框，

-b、一個在線實時處理步驟，通過結合與所述分割的眼鏡對象的屬性相關的約束和所述眼鏡腿與所述眼鏡框之間的機械約束，該步驟估計在不發生相互穿插的情況下所述眼鏡的定位參數，所述眼鏡定位參數是3D旋轉矩陣R、3D平移矢量T、眼鏡腿開放角度和變形參數D。