[發(fā)明專(zhuān)利]一種虛擬現(xiàn)實(shí)場(chǎng)景中虛擬影像交互的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710658014.6
• 申請(qǐng)日: 2017-08-03
• 公開(kāi)（公告）號(hào): CN107422862B
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 馮偉;熊秒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 嗨皮樂(lè)鏡（北京）科技有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06F3/0487;G10H1/36
• 代理公司: 北京知果之信知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 唐海力

1.一種虛擬現(xiàn)實(shí)場(chǎng)景中虛擬影像交互的方法，其特征在于，包括：

選擇歌曲、歌唱場(chǎng)景、用戶(hù)替身虛擬影像和合唱對(duì)象虛擬影像，其中，用戶(hù)替身虛擬影像為系統(tǒng)提供的自定義人物形象；

根據(jù)預(yù)設(shè)的控制信息或用戶(hù)現(xiàn)場(chǎng)的演唱信息變換用戶(hù)替身虛擬影像的交互行為，其中，預(yù)設(shè)的控制信息包括預(yù)設(shè)的用戶(hù)表情信息和預(yù)設(shè)的用戶(hù)動(dòng)作信息；用戶(hù)現(xiàn)場(chǎng)的演唱信息優(yōu)于預(yù)設(shè)的控制信息來(lái)控制用戶(hù)替身虛擬影像的交互行為；

根據(jù)預(yù)設(shè)的控制信息或用戶(hù)替身的交互行為，變換合唱對(duì)象的交互行為，其中，用戶(hù)替身虛擬影像的交互行為優(yōu)于預(yù)設(shè)的控制信息來(lái)控制合唱對(duì)象的交互行為。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)用戶(hù)現(xiàn)場(chǎng)的演唱信息變換用戶(hù)替身虛擬影像的交互行為，包括：

通過(guò)語(yǔ)音分析、語(yǔ)義識(shí)別技術(shù)分析用戶(hù)替身虛擬影像的演唱聲音方面的信息、歌詞內(nèi)容來(lái)變換所述用戶(hù)替身虛擬影像的交互行為。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過(guò)語(yǔ)音分析技術(shù)分析用戶(hù)替身虛擬影像的演唱信息來(lái)變換所述用戶(hù)替身虛擬影像的交互行為，包括：

通過(guò)麥克風(fēng)采集用戶(hù)唱歌的數(shù)字波形信號(hào)，通過(guò)轉(zhuǎn)換獲得實(shí)時(shí)音量、音高和節(jié)奏信息，根據(jù)獲得的實(shí)時(shí)音量、音高和節(jié)奏信息并結(jié)合歌詞內(nèi)容變換用戶(hù)替身虛擬影像的口型、表情和動(dòng)作。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過(guò)語(yǔ)義識(shí)別技術(shù)分析用戶(hù)替身虛擬影像的歌唱內(nèi)容，包括：

通過(guò)語(yǔ)義識(shí)別技術(shù)，分析用戶(hù)歌唱的內(nèi)容，結(jié)合歌詞內(nèi)容變換用戶(hù)替身虛擬影像的表情和動(dòng)作。

5.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，通過(guò)在VR頭盔中設(shè)置傳感器來(lái)采集用戶(hù)的實(shí)時(shí)表情特征數(shù)據(jù)，并根據(jù)表情特征數(shù)據(jù)調(diào)整用戶(hù)替身虛擬影像唱歌時(shí)的表情；

通過(guò)佩戴可穿戴體感交互設(shè)備來(lái)實(shí)時(shí)采集用戶(hù)的動(dòng)作信息，并根據(jù)動(dòng)作信息實(shí)時(shí)調(diào)整用戶(hù)替身虛擬影像的動(dòng)作。

6.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，根據(jù)預(yù)設(shè)的控制信息變換用戶(hù)替身虛擬影像的交互行為，包括：

預(yù)制控制信息到歌曲配置文件中，當(dāng)歌曲播放到相應(yīng)內(nèi)容時(shí)，用戶(hù)替身虛擬影像做出預(yù)制的交互行為。

7.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，根據(jù)每首歌曲，來(lái)預(yù)設(shè)控制信息，控制合唱對(duì)象的合唱行為，預(yù)設(shè)控制信息可作為腳本寫(xiě)在字幕文件或者其它文本文件中，或者數(shù)據(jù)庫(kù)中，合唱對(duì)象的口型、表情和動(dòng)作可做適應(yīng)性變換。

8.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，根據(jù)用戶(hù)替身虛擬影像的交互行為變換合唱對(duì)象虛擬影像的交互行為，包括：

合唱對(duì)象虛擬影像基于預(yù)制規(guī)則，根據(jù)用戶(hù)替身虛擬影像的口型、表情和動(dòng)作適應(yīng)性變換合唱對(duì)象虛擬影像的口型、表情和動(dòng)作。

9.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，基于語(yǔ)音識(shí)別技術(shù)，用戶(hù)替身使用聲音和合唱對(duì)象進(jìn)行互動(dòng)，包括：

基于預(yù)制響應(yīng)規(guī)則，系統(tǒng)利用語(yǔ)音識(shí)別技術(shù)獲得用戶(hù)替身的指令，合唱對(duì)象根據(jù)用戶(hù)的指令，做出相應(yīng)的交互行為。

10.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，合唱對(duì)象的聲音可由錄制的聲音生成，也可通過(guò)電子音樂(lè)制作語(yǔ)音合成軟件來(lái)合成。

11.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，基于預(yù)制的響應(yīng)規(guī)則，用戶(hù)替身可以使用各種交互工具來(lái)和合唱對(duì)象交互，交互工具包括手柄、光學(xué)交互設(shè)備、穿戴式體感設(shè)備、VR頭盔以及定位系統(tǒng)，用戶(hù)替身可以使用這些交互工具來(lái)觸碰合唱對(duì)象的虛擬形象或者其它虛擬場(chǎng)景元素。

12.根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于，所述歌唱場(chǎng)景由三維建?；蛉耙曨l來(lái)生成；用戶(hù)替身虛擬影像和合唱對(duì)象虛擬影像通過(guò)三維建模、全景視頻綠布摳像或者實(shí)景建模的方式來(lái)生成。