[發明專利]一種眼動結合語音輔助交互裝置及方法

在審

• 申請號: 202011008098.7
• 申請日: 2020-09-23
• 公開（公告）號: CN112114672A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 胡飛;李偉哲
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G10L15/22;G10L15/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 沈闖

本申請公開了一種眼動結合語音輔助交互裝置及方法，包括：語音單元、定位單元以及主控單元；語音單元用于獲取用戶的聲音信號，將聲音信號傳輸至主控單元；定位單元用于獲取注視點信號，并識別注視點信號對應的位置信息，將包含位置信息的注視點信號傳輸至主控單元；主控單元用于獲取注視點信號，并將包含位置信息的注視點信號轉換成屏幕坐標；還用于獲取聲音信號，識別聲音信號中的控制指令，在相應的屏幕坐標上實施控制指令。本申請解決了現有的眼動交互裝置操作模式單一，難以進行復雜操作的技術問題。

技術領域

本申請涉及人機交互技術領域，尤其涉及一種眼動結合語音輔助交互裝置及方法。

背景技術

基于眼動的人機交互的基礎技術是眼球跟蹤技術，該技術是通過外部設備(如光學攝像頭、紅外線發射與接收裝置)采集包含眼部信息的電信號，運用算法對電信號進行處理，來提取出眼部的特征信號，如注視、眼跳、眨眼等。眼動人機交互是通過運用眼球跟蹤技術的特征信號，轉換為屏幕上光標的移動命令或控件的選擇命令(如點擊、長按等)，以實現人機交互的功能。

現有技術中提供了不少眼球跟蹤的相關技術，然而也存在以下問題：在僅使用眼動作為交互通道中，以眨眼作為觸發信號時，雙眼閉合并不是同步的，而是一前一后，相差在幾毫秒，而眨眼識別算法是基于瞳孔檢測，即檢測不到瞳孔時，會識別為一次眨眼，這造成了一次眨眼過程的實際識別結果為：單眼閉合→雙眼閉合→單眼睜開→雙眼睜開，這使得即使是正常眨眼，也會造成誤識別；人的眼部在閉合時，瞳孔會逐漸消失，計算機檢測算法中會識別出瞳孔大小的改變，而在屏幕注視點定位算法中，會根據眼部注視屏幕不同位置的瞳孔形狀確定注視點位置，這使得閉合檢測算法與注視點定位算法容易混淆，造成的結果是眨眼過程中實際識別結果為：注視點變化→瞳孔消失(眨眼)→瞳孔出現→注視點變化，即閉眼的過程中，屏幕上呈現的注視位置會發生改變，用戶期望點擊位置與實際點擊位置會有出現偏差。

不足之處二:眼動是單一的控制通道，實現的均為簡單的單擊功能，而實際場景中，除了點擊，常用的交互方式還有長按、拖拽與滾動等，這使得用戶操作較為單一，需要另外設計交互場景或者反復切換控件，造成不便。通過基于眼動的多模態人機交互來解決這一問題是一個可發展的方向，但具體如何進行，未有詳細明確的方案。

發明內容

本申請提供了一種眼動結合語音輔助交互裝置及方法，解決了現有的眼動交互裝置操作模式單一，難以進行復雜操作的技術問題。

有鑒于此，本申請第一方面提供了一種眼動結合語音輔助交互裝置，所述裝置包括：

包括：語音單元、定位單元以及主控單元；

所述語音單元用于獲取用戶的聲音信號，將所述聲音信號傳輸至所述主控單元；

所述定位單元用于獲取注視點信號，并識別所述注視點信號對應的位置信息，將包含所述位置信息的所述注視點信號傳輸至所述主控單元；

所述主控單元用于獲取所述注視點信號，并將包含位置信息的注視點信號轉換成屏幕坐標；還用于獲取所述聲音信號，識別所述聲音信號中的控制指令，在相應的所述屏幕坐標上實施所述控制指令。

可選的，所述定位單元還用于對包含所述位置信息的所述注視點信號進行濾波。

可選的，所述主控單元還包括緩存單元；

所述緩存單元用于緩存預設時間段內的所述注視點信號。

可選的，還包括顯示單元，用于顯示所述注視點信號對應的所述屏幕坐標位置上的標識。

可選的，還包括電源單元，用于為交互裝置提供穩定的供電。

本申請第二方面提供一種眼動結合語音輔助交互方法，所述方法包括：

獲取用戶瞳孔數量以及注視點信號；

識別所述注視點信號對應的位置信息；