[發(fā)明專利]虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611025697.3
• 申請日: 2016-11-21
• 公開（公告）號: CN106648071B
• 公開（公告）日: 2019-08-20
• 發(fā)明（設(shè)計）人: 劉哲
• 申請（專利權(quán)）人: 捷開通訊科技（上海）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T17/00;G06T19/00;G06K9/00;G06Q50/00
• 代理公司: 上海和躍知識產(chǎn)權(quán)代理事務所(普通合伙) 31239
• 代理人: 杜林雪

本發(fā)明揭示了一種虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，包括社交環(huán)境搭建裝置與社交細節(jié)實現(xiàn)裝置，社交環(huán)境搭建裝置用以實現(xiàn)臉部表情及嘴型實時追蹤與重現(xiàn)以及人臉3D模型構(gòu)建，并通過實時追蹤用戶的頭、手和身體軀干的動作和位置并呈現(xiàn)在虛擬現(xiàn)實的社交場景中，同時構(gòu)建使用者的身體模型，并對場景進行真實環(huán)境的還原和重建；社交細節(jié)實現(xiàn)裝置通過感測眼睛的注視焦點的位置，并根據(jù)使用者說話的語氣、語句內(nèi)容、語調(diào)和音量等來真實地呈現(xiàn)使用者說話時的嘴型動畫，同時通過展現(xiàn)頭部的動作和手部的動作及對方的動作姿勢以增強用戶虛擬現(xiàn)實社交時的真實感。

【技術(shù)領(lǐng)域】

本發(fā)明涉及信息處理技術(shù)，特別是虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)。

【背景技術(shù)】

近年來，虛擬現(xiàn)實(VR)產(chǎn)品，如VR眼鏡、VR一體機等，成為業(yè)界日益關(guān)注的重點。然而在現(xiàn)有的虛擬現(xiàn)實(VR)世界中，目前用戶只能體驗一些VR游戲和多媒體內(nèi)容，而且這些內(nèi)容交互較為簡單，并且無法聯(lián)機運行。而未來的趨勢，會要求用戶能在虛擬現(xiàn)實世界中能實現(xiàn)類似真實世界中的社交和即時通訊等場景。目前的虛擬現(xiàn)實社交中，只完成了人物的位置方向基本姿態(tài)、頭部位置的跟蹤，用戶只能看見自己虛擬的手以及社交對象虛擬的頭像和手，無法令用戶沉浸地進行虛擬現(xiàn)實社交。

【發(fā)明內(nèi)容】

本發(fā)明的目的在于提供一種虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，能夠?qū)μ摂M現(xiàn)實的場景進行全方面的識別與跟蹤，從而解決現(xiàn)有的虛擬現(xiàn)實社交中無法令用戶沉浸地進行虛擬現(xiàn)實社交的問題。

為實現(xiàn)上述目的，實施本發(fā)明的虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)包括社交環(huán)境搭建裝置與社交細節(jié)實現(xiàn)裝置，其中社交環(huán)境搭建裝置包括臉部模型構(gòu)建單元、動作捕捉與互動單元、身體模型重建單元及真實環(huán)境還原單元，社交細節(jié)實現(xiàn)裝置包括眼神交流再現(xiàn)單元、嘴型重現(xiàn)單元、肢體動作展現(xiàn)單元以及用戶姿勢判斷單元，其中臉部模型構(gòu)建單元用以實現(xiàn)臉部表情實時追蹤與重現(xiàn)、嘴型實時追蹤與重現(xiàn)以及人臉3D模型的構(gòu)建，動作捕捉與互動單元通過實時追蹤用戶的頭、手和身體軀干的動作和位置，并相應地呈現(xiàn)在虛擬現(xiàn)實的社交場景中，身體模型重建單元用以構(gòu)建使用者的身體模型，真實環(huán)境還原單元用以對場景進行真實環(huán)境的還原和重建，以令使用戶更真實地沉浸在虛擬現(xiàn)實的社交場景中；眼神交流再現(xiàn)單元用以感測眼睛的注視焦點的位置，嘴型重現(xiàn)單元用以根據(jù)使用者說話的語氣、語句內(nèi)容、語調(diào)和音量等來真實地呈現(xiàn)使用者說話時的嘴型動畫，肢體動作展現(xiàn)單元用以通過展現(xiàn)頭部的動作和手部的動作來增強用戶虛擬現(xiàn)實社交時的真實感，動作姿勢判斷單元用以判斷對方的動作姿勢。

依據(jù)上述主要特征，臉部表情實時追蹤與重現(xiàn)需要兩組傳感器來分別實時識別使用者上臉部和下臉部的表情，嘴型實時追蹤是通過下臉部感知傳感器組來捕捉嘴型的動作和幅度，然后在虛擬現(xiàn)實環(huán)境中真實呈現(xiàn)嘴型，人臉3D模型構(gòu)建是利用三維激光掃描儀獲取人臉的點云數(shù)據(jù)，然后對這些點云數(shù)據(jù)進行處理，然后利用人臉圖像進行紋理映射獲得3D人臉模型。

依據(jù)上述主要特征，動作捕捉與互動單元通過VR頭盔內(nèi)部的慣性傳感器和外部的光學傳感器來感知用戶的3自由度轉(zhuǎn)動動作以及6自由度的肢體轉(zhuǎn)動和移動動作。

依據(jù)上述主要特征，身體模型重建單元用以構(gòu)建使用者的身體模型，當用戶進入虛擬現(xiàn)實世界開始社交之前，需要提交自己的身體模型數(shù)據(jù)，這個身體模型是由多臺相機包圍一個人物做三維掃描來實現(xiàn)的，其中身體模型數(shù)據(jù)主要由三個部分構(gòu)成：身體參數(shù)、基本屬性以及附屬，身體參數(shù)主要包括身高、體重、提醒、膚色以及毛發(fā)等元素，基本屬性主要包括人種、性別和年齡等元素，附屬主要包括服飾、發(fā)型和紋身等元素。

依據(jù)上述主要特征，其中真實環(huán)境還原單元包括360度全景動態(tài)環(huán)境背景創(chuàng)建模塊、公共和私人空間的創(chuàng)建模塊、社交活動類型創(chuàng)建模塊、好友列表創(chuàng)建模塊、交流模式創(chuàng)建模塊和好友信息創(chuàng)建模塊。