[發明專利]一種VR語音交互系統及其交互方法

在審

• 申請號: 201811247120.6
• 申請日: 2018-10-24
• 公開（公告）號: CN109460148A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 劉海旺
• 申請（專利權）人: 北京實境智慧科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G10L15/22;G10L15/30
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 武媛;呂學文

1.一種VR語音交互系統，其特征在于，所述VR語音交互系統包括VR終端設備(2)、VR控制器(3)和云端處理模塊(1)，所述VR終端設備(2)通過無線網絡與云端處理模塊(1)進行通訊，所述VR控制器(3)通過藍牙與VR終端設備(2)進行數據傳輸，所述云端處理模塊(1)包括彼此之間進行數據傳輸的VR數據庫(9)、語音識別模塊(10)、交互控制模塊(11)和合成模塊(12)。

2.如權利要求1所述的一種VR語音交互系統，其特征在于，所述VR終端設備(2)具有多種設備形態，包括VR一體機或VR眼鏡(8)與計算機組合設備或VR眼鏡(8)與手機終端組合設備。

3.如權利要求1所述的一種VR語音交互系統，其特征在于，所述VR終端設備(2)包括互相通信的處理器、語音采集模塊(6)和語音存儲模塊(7)，所述處理器包括中央處理器(4)和圖形處理器(5)。

4.如權利要求1-3任一所述的一種VR語音交互系統的交互方法，其特征在于，所述交互方法包括：

啟動VR終端設備(2)將VR數據庫(9)中的虛擬人物和內容加載至虛擬空間；

操作者手持VR控制器(3)，通過按住VR控制器(3)上的虛擬按鍵，開始語音輸入；

語音采集模塊(6)對語音信息進行采集并存儲在語音存儲模塊(7)中；

操作者松開VR控制器(3)上的虛擬按鍵，結束語音輸入；

云端處理模塊(1)對語音存儲模塊(7)中的語音進行識別、交互和合成并生成反饋信息；

云端處理模塊(1)將反饋信息發送至VR終端設備(2)；

VR終端設備(2)根據反饋信息控制虛擬人物向操作者完成語音和表情反饋。

5.如權利要求4所述的一種VR語音交互系統的交互方法，其特征在于，所述交互方法還包括：所述VR控制器(3)通過藍牙將虛擬按鍵的動態信息傳輸給中央處理器(4)，所述中央處理器(4)通過對虛擬坐標的檢測和有限狀態機的變換生成控制事件，再通過控制事件驅動系統中麥克風的開啟和關閉，進而實現語音信息傳輸的開始和結束。

6.如權利要求5所述的一種VR語音交互系統的交互方法，其特征在于，所述中央處理器(4)根據語音信息的輸入狀態和接收時間實現人機對話的話輪控制邏輯，包括人機對話中的搶話機制。

7.如權利要求4所述的一種VR語音交互系統的交互方法，其特征在于，所述云端處理模塊(1)的合成模塊(12)對語音信息的語氣和內容進行合成后與VR數據庫(9)中相對應的語氣和內容進行比對，最終生成符合情景的對話語音內容和虛擬人物表情反饋信息，最后傳輸給VR終端設備(2)。

8.如權利要求7所述的一種VR語音交互系統的交互方法，其特征在于，所述VR終端設備(2)接收到對話語音內容和虛擬人物表情反饋信息后，通過中央處理器(4)和圖形處理器(5)的處理控制虛擬人物實現對應語音內容和表情的展現。