[發明專利]一種虛擬現實場景中虛擬影像交互的方法

有效

• 申請號: 201710658014.6
• 申請日: 2017-08-03
• 公開（公告）號: CN107422862B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 馮偉;熊秒
• 申請（專利權）人: 嗨皮樂鏡（北京）科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0487;G10H1/36
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 唐海力

本發明提供一種虛擬現實場景中虛擬影像交互的方法，包括：選擇歌曲、歌唱場景、用戶替身虛擬影像和合唱對象虛擬影像；根據預設的控制信息或用戶現場的演唱信息變換用戶替身虛擬影像的交互行為，其中，用戶現場的演唱信息優于預設的控制信息來控制用戶替身虛擬影像的交互行為；根據預設的控制信息或用戶替身的交互行為，變換合唱對象的交互行為，其中，用戶替身虛擬影像的交互行為優于預設的控制信息來控制合唱對象的交互行為。本發明解決了虛擬現實娛樂系統中，用戶替身和合唱虛擬對象之間進行歌唱交互的問題。

技術領域

本發明屬于虛擬現實技術領域，具體涉及一種虛擬現實場景中人物交互的方法。

背景技術

VR（Virtual Reality），虛擬現實技術，是一種綜合利用計算機圖形系統和各種現實及控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。如果還是不夠“場景化”，那么可以理解為通過某個設備（目前主要是眼睛或者頭盔）來產生“身臨其境”的感覺，當然，這個“其境”就是通過各種計算機技術生成的視頻資料。

近年來，由于VR硬件的成熟，特別是美國的Facebook宣布收購了VR公司OculusVR，三星就推出了Gear VR眼鏡；2015年初，HTC展示了自己與Valve聯合開發的頭盔HTCVive，VR技術進入了實用化的階段。但是普遍缺乏的是基于VR的行業應用和內容，VR技術和各種行業應用的結合，將產生各種新型的應用。

發明CN200710094144涉及一種網絡游戲中的數據處理方法，特別是指一種在線聯網游戲中虛擬角色的展示方法；此外，本發明還涉及一種虛擬角色的展示系統。

該方案和本方案具有如下區別。首先，該方案是針對網絡游戲設計，是以電腦為展示硬件，沒有考慮以VR頭盔為展示載體，沒有考慮VR頭盔的全景、互動、位置意識等特性。其次，該方案僅僅考慮了單個角色如何展示的問題，他沒有考慮多個角色對唱或者合唱的應用場景，也沒有考慮多個角色之間如何對唱，如何互動的問題。

本發明提出了一種虛擬現實場景中人物交互的方法，在虛擬場景中，實現用戶替身和用戶替身虛擬影像對唱、合唱或者互動的方法，該方法將為用戶提供和自己的明星偶像以及其他用戶替身虛擬影像，在數字世界里一起歌唱、互動的新型娛樂體驗。

發明內容

本申請實施例提供一種虛擬現實場景中虛擬影像交互的方法，用于在虛擬場景中實現用戶替身和合唱對象虛擬影像對唱、合唱或者互動。

一方面，本發明提供一種虛擬現實場景中虛擬影像交互的方法，包括：

選擇歌曲、歌唱場景、用戶替身虛擬影像和合唱對象虛擬影像；

根據預設的控制信息或用戶現場的演唱信息變換用戶替身虛擬影像的交互行為，其中，用戶現場的演唱信息優于預設的控制信息來控制用戶替身虛擬影像的交互行為；

根據預設的控制信息或用戶替身的交互行為，變換合唱對象的交互行為，其中，用戶替身虛擬影像的交互行為優于預設的控制信息來控制合唱對象的交互行為。

進一步地，根據用戶現場的演唱信息變換用戶替身虛擬影像的交互行為，包括：

通過語音分析、語義識別技術分析用戶替身虛擬影像的演唱聲音方面的信息、歌詞內容來變換所述用戶替身虛擬影像的交互行為。

進一步地，所述通過語音分析技術分析用戶替身虛擬影像的演唱信息來變換所述用戶替身虛擬影像的交互行為，包括：

通過麥克風采集用戶唱歌的數字波形信號，通過轉換獲得實時音量、音高和節奏信息，根據獲得的實時音量、音高和節奏信息并結合歌詞內容變換用戶替身虛擬影像的口型、表情和動作。

進一步地，所述通過語義識別技術分析用戶替身虛擬影像的歌唱內容，包括：