[發明專利]一種VR語音交互系統及其交互方法

在審

• 申請號: 201811247120.6
• 申請日: 2018-10-24
• 公開（公告）號: CN109460148A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 劉海旺
• 申請（專利權）人: 北京實境智慧科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G10L15/22;G10L15/30
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 武媛;呂學文

本發明實施例公開了一種VR語音交互系統及其交互方法，涉及虛擬現實技術領域。所述VR語音交互系統包括VR終端設備、VR控制器和云端處理模塊，所述VR終端設備通過無線網絡與云端處理模塊進行通訊，所述VR控制器通過藍牙與VR終端設備進行數據傳輸，所述云端處理模塊包括彼此之間進行數據傳輸的VR數據庫、語音識別模塊、交互控制模塊和合成模塊。本發明能夠解決現有VR應用在語音方面的交互性較差的問題，具有很強的沉浸感和代入感。

技術領域

本發明涉及虛擬現實技術領域，具體涉及一種VR語音交互系統及其交互方法。

背景技術

VR技術是人類視覺交互技術上的重大突破，人類認知世界不再受“眼見為實”的限制。近年來Google,Facebook等平臺廠商和高通等芯片廠商持續推動VR設備的普及，VR技術在視頻，教育，旅游等各行業得到越來越深入的應用。VR技術相對傳統的PC和手機最大的特點是沉浸感。從物理心理學的角度，沉浸感來自三個方面：3D場景帶來的視覺真實性；用戶自身代入感的真實性；用戶和虛擬世界交互的真實性。

然而，目前市場中的VR應用以視頻播放、VR控制手柄點選和射擊類游戲居多，由于用戶佩戴VR頭盔后隔離了手眼視覺協調，相比傳統的鍵盤、鼠標和觸屏操作，VR應用的輸入受到很大限制，影響了VR的交互性。

發明內容

本發明的目的在于提供一種VR語音交互系統及其交互方法，用以解決現有VR應用再語音方面的交互性較差的問題。

為實現上述目的，本發明實施例提供一種VR語音交互系統，所述VR語音交互系統包括VR終端設備、VR控制器和云端處理模塊，所述VR終端設備通過無線網絡與云端處理模塊進行通訊，所述VR控制器通過藍牙與VR終端設備進行數據傳輸，所述云端處理模塊包括彼此之間進行數據傳輸的VR數據庫、語音識別模塊、交互控制模塊和合成模塊。

作為優選的技術方案，所述VR終端設備具有多種設備形態，包括VR一體機或VR眼鏡與計算機組合設備或VR眼鏡與手機終端組合設備。

作為優選的技術方案，所述VR終端設備包括互相通信的處理器、語音采集模塊和語音存儲模塊，所述處理器包括中央處理器和圖形處理器。

提供一種VR語音交互系統的交互方法，所述交互方法包括：啟動VR終端設備將VR數據庫中的虛擬人物和內容加載至虛擬空間；操作者手持VR控制器，通過按住VR控制器上的虛擬按鍵，開始語音輸入；語音采集模塊對語音信息進行采集并存儲在語音存儲模塊中；操作者松開VR控制器上的虛擬按鍵，結束語音輸入；云端處理模塊對語音存儲模塊中的語音進行識別、交互和合成并生成反饋信息；云端處理模塊將反饋信息發送至VR終端設備；VR終端設備根據反饋信息控制虛擬人物向操作者完成語音和表情反饋。

作為優選的技術方案，所述交互方法還包括：所述VR控制器通過藍牙將虛擬按鍵的動態信息傳輸給中央處理器，所述中央處理器通過對虛擬坐標的檢測和有限狀態機的變換生成控制事件，再通過控制事件驅動系統中麥克風的開啟和關閉，進而實現語音信息傳輸的開始和結束。

作為優選的技術方案，所述中央處理器根據語音信息的輸入狀態和接收時間實現人機對話的話輪控制邏輯，包括人機對話中的搶話機制。

作為優選的技術方案，所述云端處理模塊的合成模塊對語音信息的語氣和內容進行合成后與VR數據庫中相對應的語氣和內容進行比對，最終生成符合情景的對話語音內容和虛擬人物表情反饋信息，最后傳輸給VR終端設備。

作為優選的技術方案，所述VR終端設備接收到對話語音內容和虛擬人物表情反饋信息后，通過中央處理器和圖形處理器的處理控制虛擬人物實現對應語音內容和表情的展現。

本發明實施例具有如下優點：

(1)本發明能夠使用戶在VR內自由發起語音輸入，效率高；