[發(fā)明專利]虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611025697.3
• 申請日: 2016-11-21
• 公開（公告）號: CN106648071B
• 公開（公告）日: 2019-08-20
• 發(fā)明（設(shè)計）人: 劉哲
• 申請（專利權(quán)）人: 捷開通訊科技（上海）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T17/00;G06T19/00;G06K9/00;G06Q50/00
• 代理公司: 上海和躍知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31239
• 代理人: 杜林雪

1.一種虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，包括社交環(huán)境搭建裝置與社交細節(jié)實現(xiàn)裝置，其中社交環(huán)境搭建裝置包括臉部模型構(gòu)建單元、動作捕捉與互動單元、身體模型重建單元及真實環(huán)境還原單元，社交細節(jié)實現(xiàn)裝置包括眼神交流再現(xiàn)單元、嘴型重現(xiàn)單元、肢體動作展現(xiàn)單元以及用戶姿勢判斷單元，其中臉部模型構(gòu)建單元用以實現(xiàn)臉部表情實時追蹤與重現(xiàn)、嘴型實時追蹤與重現(xiàn)以及人臉3D模型的構(gòu)建，動作捕捉與互動單元通過實時追蹤用戶的頭、手和身體軀干的動作和位置，并相應(yīng)地呈現(xiàn)在虛擬現(xiàn)實的社交場景中，身體模型重建單元用以構(gòu)建使用者的身體模型，真實環(huán)境還原單元用以對場景進行真實環(huán)境的還原和重建，以令使用戶更真實地沉浸在虛擬現(xiàn)實的社交場景中；眼神交流再現(xiàn)單元用以感測眼睛的注視焦點的位置，嘴型重現(xiàn)單元用以根據(jù)使用者說話的語氣、語句內(nèi)容、語調(diào)和音量來真實地呈現(xiàn)使用者說話時的嘴型動畫，肢體動作展現(xiàn)單元用以通過展現(xiàn)頭部的動作和手部的動作來增強用戶虛擬現(xiàn)實社交時的真實感，動作姿勢判斷單元用以判斷對方的動作姿勢，身體模型重建單元用以構(gòu)建使用者的身體模型，當(dāng)用戶進入虛擬現(xiàn)實世界開始社交之前，需要提交自己的身體模型數(shù)據(jù)，這個身體模型是由多臺相機包圍一個人物做三維掃描來實現(xiàn)，其中身體模型數(shù)據(jù)由三個部分構(gòu)成：身體參數(shù)、基本屬性以及附屬，身體參數(shù)包括身高、體重、提醒、膚色以及毛發(fā)元素，基本屬性包括人種、性別和年齡元素，附屬包括服飾、發(fā)型和紋身元素。

2.如權(quán)利要求1所述的虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，其特征在于：臉部表情實時追蹤與重現(xiàn)需要兩組傳感器來分別實時識別使用者上臉部和下臉部的表情，嘴型實時追蹤是通過下臉部感知傳感器組來捕捉嘴型的動作和幅度，然后在虛擬現(xiàn)實環(huán)境中真實呈現(xiàn)嘴型，人臉3D模型構(gòu)建是利用三維激光掃描儀獲取人臉的點云數(shù)據(jù)，然后對這些點云數(shù)據(jù)進行處理，然后利用人臉圖像進行紋理映射獲得3D人臉模型。

3.如權(quán)利要求1所述的虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，其特征在于：動作捕捉與互動單元通過VR頭盔內(nèi)部的慣性傳感器和外部的光學(xué)傳感器來感知用戶的3自由度轉(zhuǎn)動動作以及6自由度的肢體轉(zhuǎn)動和移動動作。

4.如權(quán)利要求1所述的虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，其特征在于：其中真實環(huán)境還原單元包括360度全景動態(tài)環(huán)境背景創(chuàng)建模塊、公共和私人空間的創(chuàng)建模塊、社交活動類型創(chuàng)建模塊、好友列表創(chuàng)建模塊、交流模式創(chuàng)建模塊和好友信息創(chuàng)建模塊。

5.如權(quán)利要求1所述的虛擬現(xiàn)實社交實現(xiàn)系統(tǒng)，其特征在于：其中360度全景動態(tài)環(huán)境背景創(chuàng)建模塊用以實現(xiàn)場景的重建，包括材質(zhì)、燈光、周圍聲音、細節(jié)動畫的還原的場景的創(chuàng)建；公共和私人空間的創(chuàng)建模塊用以創(chuàng)建公共和私人的空間，其中公共空間是指虛擬現(xiàn)實中的人物均可只有出入，而私人空間是指使用者虛擬現(xiàn)實中的家，他人只有在被使用者邀請后方可進入，社交活動類型創(chuàng)建模塊用以創(chuàng)建虛擬現(xiàn)實世界中的社交流動類型，為約會聚餐、當(dāng)面交流、看電影、玩游戲；好友列表創(chuàng)建模塊用以創(chuàng)建使用者的在線好友、離線好友以及新增好友列表；交流模式創(chuàng)建模塊用以創(chuàng)建虛擬現(xiàn)實世界中的交流模式，如和周圍人會去解釋說明、陳述和人際交往互動；好友信息創(chuàng)建模塊為使用者創(chuàng)建好的的信息，以便使用者可以看到好友的個人簡介、狀態(tài)更新以及分享和互動內(nèi)容，使用者也可以看到他正在體驗什么、玩過什么游戲、看過什么電影，使用者也可以邀請他來加入使用者將要參加的一項新活動。