[發明專利]用于產生虛擬和增強現實的方法和系統

有效

• 申請號: 202011106449.8
• 申請日: 2015-06-13
• 公開（公告）號: CN112651288B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: G·R·布拉德斯基;S·A·米勒;R·阿伯維茨
• 申請（專利權）人: 奇躍公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06T19/00;G06F3/01
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 姜利芳;楊曉光

1.一種用于生成用戶的面部的三維(3D)模型的系統，所述系統包括：

頭戴式顯示器(HMD)，其被配置為將虛擬內容呈現給用戶；

面向內成像系統，其包括至少一個眼睛相機，其中，所述面向內成像系統被配置為在所述用戶佩戴所述HMD時對所述用戶的所述面部的至少一部分成像；

慣性測量單元(IMU)，其與所述HMD相關聯并被配置為檢測所述HMD的運動；以及

硬件處理器，其被編程為：

檢測觸發以啟動對所述用戶的面部的成像，其中，所述觸發包括由所述IMU檢測到的涉及將所述HMD放置在所述用戶的頭部上或從所述用戶的頭部脫下所述HMD的運動；

響應于檢測到所述觸發，激活所述至少一個眼睛相機以捕捉圖像；

基于從所述IMU或所述面向內成像系統中的至少一個捕捉的數據，檢測用于停止所述成像的停止條件；

用立體視覺算法分析由所述至少一個眼睛相機捕捉的所述圖像；以及

融合所述圖像以至少部分地基于所述立體視覺算法的輸出來生成所述用戶的面部的面部模型，

其中，所述至少一個眼睛相機包括第一眼睛相機和第二眼睛相機，并且其中，所述第一眼睛相機和所述第二眼睛相機具有重疊的視場，

其中，所述圖像包括多對圖像，其中，每對圖像包括由所述第一眼睛相機捕捉的第一圖像和由所述第二眼睛相機捕捉的第二圖像，以及

其中，基于對由所述第一眼睛相機和所述第二眼睛相機捕捉的圖像的分析，所述用戶的面部由多個點云表示，并且其中，為了融合所述圖像以生成面部模型，所述硬件處理器被編程為：

使所述多個點云相互擬合；

拒絕所述多個點云中的輪廓線；以及

通過聚類或平均化中的至少一種來平滑所述面部模型的表面。

2.根據權利要求1所述的系統，其中，為了檢測所述觸發，所述硬件處理器被編程為：

確定所述HMD的加速度；

將所述HMD的加速度與閾值加速度進行比較；以及

響應于所述加速度超過所述閾值加速度的比較結果來檢測所述觸發。

3.根據權利要求1所述的系統，其中，當所述HMD與所述用戶的頭部之間的距離超過閾值距離時，檢測到所述停止條件。

4.根據權利要求1所述的系統，其中，所述立體視覺算法包括以下中的至少一種：塊匹配算法、半全局匹配算法、半全局塊匹配算法、視差圖、深度圖或神經網絡算法。

5.根據權利要求1所述的系統，其中，一對圖像通過所述立體視覺算法一起被分析。

6.根據權利要求1所述的系統，其中，所述立體視覺算法的輸出包括對所述多對圖像中的像素的深度分配。

7.根據權利要求1所述的系統，其中，擬合所述多個點云，所述硬件處理器被編程為將迭代最近點算法應用于所述多個點云。

8.根據權利要求1所述的系統，其中，所述硬件處理器還被編程為：

基于所述圖像確定紋理圖；以及

將所述紋理圖應用到所述面部模型。

9.根據權利要求1所述的系統，其中，所述硬件處理器還被編程為將所述面部模型傳遞給可穿戴裝置。

10.根據權利要求1所述的系統，其中，為了分析所述圖像，所述硬件處理器被編程為至少：

使用關鍵點檢測器和描述符算法辨識所述圖像中的關鍵點；或者

從所述圖像中辨識面部特征，并使用3D空間中的點描繪辨識出的面部特征。

11.根據權利要求10所述的系統，其中，為了融合所述圖像，所述硬件處理器被編程為使用束調整算法來組合所述關鍵點或面部特征。