[發明專利]一種虛擬現實場景下的注視點語音交互裝置及方法

有效

• 申請號: 202011584799.5
• 申請日: 2020-12-28
• 公開（公告）號: CN112631429B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 張瀟
• 申請（專利權）人: 天翼閱讀文化傳播有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G10L15/22
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳偉凱;孫孟輝

本發明公開了一種虛擬現實場景下的注視點語音交互裝置，包括注視點預測模塊、交互意圖決策模塊、語音交互模塊和第三方語音識別模塊，所述注視點預測模塊用于使用預測算法預測當前用戶在使用虛擬現實頭戴設備時視覺注視點所在位置及運動趨勢；所述交互意圖決策模塊用于當前用戶行為是否適合激活語音交互的意圖，以及語音識別后的指令與行為輸入的意圖是否沖突，并按既定優先級策略與用戶歷史行為偏好進行執行指令的決策。所述語音交互模塊接入第三方語音識別模塊的方式執行語音交互。本發明增加適用于虛擬現實用戶界面的語音交互方案，并使用注視點喚醒方式取代現有語音產品中主流的喚醒詞喚醒及按鍵喚醒方式，提高虛擬現實多模交互的用戶體驗。

技術領域

本發明屬于虛擬現實交互技術、語音交互技術領域，具體是一種虛擬現實場景下的注視點語音交互方法。

背景技術

在相關技術領域中，已存在基于注視點交互相關技術，但此類技術多基于手機、電腦等相對普及的設備終端實現，然而傳統的注視點預測方式主要適用于手機、電腦等終端設備使用，并不適用于虛擬現實頭戴設備終端。

CN202010394171.2公開了一種注視點顯示方法及相關裝置，其是基于攝像頭數據的注視點預測，而使用攝像頭進行注視點預測需要耗費的運算資源相對較高，且不適用于虛擬現實的通用設備執行條件。CN201611027164.9公開了虛擬現實系統、語音交互方法及裝置，該專利存在引發誤操作的情況。

基于虛擬現實設備的注視點交互研究仍處于初期階段，現有虛擬現實交互采用手柄交互及頭瞄交互，而語音交互作為一種簡便的交互方式未實現。

發明內容

為了解決現有技術中存在的上述技術問題，本發明提供了一種虛擬現實場景下的注視點語音交互裝置，包括注視點預測模塊、交互意圖決策模塊、語音交互模塊和第三方語音識別模塊，

所述注視點預測模塊用于使用預測算法預測當前用戶在使用虛擬現實頭戴設備時視覺注視點所在位置及運動趨勢；

所述交互意圖決策模塊用于當前用戶行為是否適合激活語音交互的意圖，以及語音識別后的指令與行為輸入的意圖是否沖突，并按既定優先級策略與用戶歷史行為偏好進行執行指令的決策。

所述語音交互模塊接入第三方語音識別模塊的方式執行語音交互。

進一步的，所述注視點預測模塊以當前用戶的頭部空間朝向作為基礎數據依據，使用預測算法進行注視點所在位置及運動趨勢預測。

進一步的，該預測算法具體如下：

通過虛擬現實頭戴硬件設備進行數據采樣，用于采集用戶當前頭部在虛擬現實系統中的指向角度，即俯仰角pitch，偏航角yaw；設定預測周期為a ms，采樣周期為b ms，該預測周期內共獲得n個采樣點角度，得出單一預測周期中的注視點為：

(((〖pitch〗_1+〖pitch〗_2+…+〖pitch〗_n)*b)/a,((〖yaw〗_1+〖yaw〗_2+…+〖yaw〗_n)*b)/a)。

進一步的，所述交互意圖決策模塊首先設定可用于觸發語音交互的虛擬現實界面的區域范圍，其次設定判斷周期c ms和采樣周期d ms，若預測注視點在判斷周期內的c/d次采樣中均滿足設定區域范圍的邊界范圍條件，則判斷用戶存在針對該區域的語音交互意圖，并激活語音交互。

進一步的，所述區域范圍為有邊界的平面區域，可為多邊形、圓形或任意閉環邊界圖形。

進一步的，所述區域范圍為矩形邊界范圍，該邊界范圍滿足注視點的俯仰角pitch，偏航角yaw在如下范圍：

(〖pitch〗_xpitch〖pitch〗_y,〖yaw〗_xyaw〖yaw〗_y)，其中〖pitch〗_x，〖pitch〗_y分別為俯仰角pitch的上下限的位置，yaw〗_x，〖yaw〗_y分別為偏航角yaw左右限的位置。