[發(fā)明專利]由可穿戴設(shè)備進(jìn)行面部模型捕獲

在審

• 申請(qǐng)?zhí)枺?/td>: 202210024536.1
• 申請(qǐng)日: 2017-09-27
• 公開（公告）號(hào): CN114356098A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: G·阿麥耶;A·克勒;D·李
• 申請(qǐng)（專利權(quán)）人: 奇躍公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V40/20;G06V40/18
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 魏子翔;于靜

1.一種用于生成用戶的面部的三維(3D)模型的系統(tǒng)，所述系統(tǒng)包括：

頭戴式顯示器(HMD)，其被配置為向用戶呈現(xiàn)虛擬內(nèi)容；

面向內(nèi)的成像系統(tǒng)，其包括第一眼睛相機(jī)和第二眼睛相機(jī)，其中，所述第一眼睛相機(jī)和第二眼睛相機(jī)被配置為在所述用戶佩戴所述HMD時(shí)分別對(duì)所述用戶的左眼和右眼成像；以及

硬件處理器，其被編程為：

使用所述第一眼睛相機(jī)和第二眼睛相機(jī)獲取所述用戶的所述面部的圖像；

至少基于來自所述HMD的一個(gè)或多個(gè)慣性傳感器的傳感器數(shù)據(jù)，檢測指示朝向所述用戶的所述頭部的運(yùn)動(dòng)的所述HMD的運(yùn)動(dòng)；

響應(yīng)于所檢測的運(yùn)動(dòng)，針對(duì)每個(gè)包括來自所述第一眼睛相機(jī)的第一圖像和來自所述第二眼睛相機(jī)的第二眼睛圖像的所獲取的圖像對(duì)：

基于所獲取的圖像中的一個(gè)或多個(gè)，確定在所述用戶的所述頭部和所述HMD之間的距離；以及

響應(yīng)于確定所述距離在距離范圍內(nèi)，將所獲取的圖像對(duì)標(biāo)記為可用于生成所述用戶的所述面部的3D模型；

識(shí)別一個(gè)或多個(gè)被標(biāo)記的所獲取的圖像對(duì)；

對(duì)于所述一個(gè)或多個(gè)被標(biāo)記的所獲取的圖像對(duì)中的每一個(gè)，采用立體視覺算法分析所獲取的圖像；以及

至少基于所述立體視覺算法的輸出，融合所述一個(gè)或多個(gè)被標(biāo)記的所獲取的圖像對(duì)以生成所述用戶的所述面部的3D模型。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述第一眼睛相機(jī)和所述第二眼睛相機(jī)具有重疊的視野。

3.一種用于生成用戶的面部的三維(3D)模型的方法，所述方法包括：

接收用于生成用戶的3D面部模型的請(qǐng)求；

至少基于來自頭戴式顯示器(HMD)的一個(gè)或多個(gè)慣性傳感器的傳感器數(shù)據(jù)，檢測指示朝向所述用戶的所述頭部的運(yùn)動(dòng)的所述HMD的運(yùn)動(dòng)；

響應(yīng)于所檢測的運(yùn)動(dòng)，

訪問由可穿戴設(shè)備的面向內(nèi)的成像系統(tǒng)獲取的圖像，其中，所述面向內(nèi)的成像系統(tǒng)包括第一眼睛相機(jī)和第二眼睛相機(jī)；

響應(yīng)于確定所述用戶的頭部位置在特定距離范圍內(nèi)，標(biāo)記所訪問的圖像中的至少一個(gè)圖像，

其中所述用戶的頭部位置基于在所訪問的圖像中的所述至少一個(gè)圖像中的所述用戶的所述面部的大小；

從所標(biāo)記的圖像中識(shí)別多對(duì)圖像；

通過將立體視覺算法應(yīng)用于所述多對(duì)圖像來分析所標(biāo)記的圖像；以及

融合從所述分析獲得的輸出以創(chuàng)建所述用戶的所述面部的所述3D模型。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述輸出包括與所述用戶的所述面部相關(guān)聯(lián)的深度圖，所述深度圖包含與所述面部和所述可穿戴設(shè)備之間的距離有關(guān)的信息。

5.根據(jù)權(quán)利要求3所述的方法，其中，一對(duì)圖像包括第一圖像和第二圖像，所述第一圖像和所述第二圖像分別由所述第一眼睛相機(jī)和所述第二眼睛相機(jī)基本上同時(shí)獲取。