[發明專利]用于虛擬現實頭戴式顯示下的眼動信號處理方法及可穿戴設備

有效

• 申請號: 202010168958.7
• 申請日: 2020-03-12
• 公開（公告）號: CN111427150B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 唐偉;舒琳;徐向民
• 申請（專利權）人: 華南理工大學
• 主分類號: G02B27/00
• 分類號: G02B27/00;G06F3/01;G02B27/01
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

本發明為用于虛擬現實頭戴式顯示下的眼動信號處理方法及可穿戴設備，屬于虛擬現實和眼動數據分析領域。其方法包括：根據受試者的頭動數據和眼動數據提取出頭部旋轉角度以及眼球在可視窗口中的二維注視點坐標；根據頭部旋轉角度，將可視窗口中的二維注視點坐標映射到三維球體空間坐標系，得到三維注視點坐標；對三維注視點坐標進行處理，得到地理經緯坐標系下的經緯注視點坐標，采用基于速度和時間閾值的方法解析出凝視數據；根據凝視數據提取出眼動特征。本發明能夠準確采集虛擬現實頭顯環境下的眼動信號，提取出常用眼動的特征，計算過程簡單易實現。

技術領域

本發明涉及虛擬現實和眼動數據分析領域，尤其涉及用于虛擬現實頭戴式顯示下的眼動信號處理方法及可穿戴設備。

背景技術

隨著信息技術和虛擬現實(VR)近幾年的蓬勃發展，越來越多全景內容和應用開始出現。虛擬現實技術為用戶提供了沉浸式媒體體驗，360度全景內容作為一種全新的媒體形式，可以放置在頭戴式顯示器(頭顯)下供用戶瀏覽，用戶可以通過移動頭部選擇顯示球形內容的某一部分，觀看過程更自由，更具交互性。

視覺注意力建模在近幾年的多媒體處理和計算機視覺領域發展迅速，在圖片和視頻的傳輸、壓縮和處理中起到了巨大作用。但是目前2D的視覺算法并不能直接地用在虛擬現實和全景內容中，用戶在頭顯下的觀看模式與典型的2D情況不同，2D情況下用戶固定頭部位置看向前方，3D下用戶可以通過頭部的旋轉和平移來呈現不同場景，但每次只能觀看整個內容的某一部分。在3自由度(3-DOF)情況下，頭部的旋轉是唯一的影響因素，但在6自由度(6-DOF)情況下，頭部的平移和旋轉運動共同決定在頭顯上呈現的內容。如何獲取準確的眼動數據、了解用戶的探索模式對于開發有效技術進行多媒體內容優化、編碼、傳輸、渲染和體驗質量評估等至關重要。

眼球運動是我們和外界交互的窗口，包含了認知和視覺過程中的時空量度。一些眼部疾病會影響到眼球的運動，如青光眼、視力退化等，除此之外，眼動模式同時又受到大腦作用，一些心理疾病如自閉癥、癡呆、帕金森、多動癥、注意力缺陷等也會影響到眼球的運動。由于目前獲取眼動數據的成本較低，因此對眼動數據進行處理，精準地提取出眼動特征信息，將能作為中間檢測結果，輔助于臨床醫學檢測，具備很強的解釋性。

發明內容

為了解決現有技術所存在的問題，本發明提供用于虛擬現實頭戴式顯示下的眼動信號處理方法及可穿戴設備，考慮了虛擬現實頭顯下的顯示特性和全景圖片的位置映射問題，首先提取出眼動數據，并通過處理變換得到相關眼動特征，解決了全景內容頭顯下的視口映射問題。

根據本發明的用于虛擬現實頭戴式顯示下的眼動信號處理方法，包括以下步驟：

S1、獲取受試者的頭動數據和眼動數據，根據獲取到的數據提取出頭部旋轉角度以及眼球在可視窗口中的二維注視點坐標；

S2、根據頭部旋轉角度，將可視窗口中的二維注視點坐標映射到三維球體空間坐標系，得到三維注視點坐標；

S3、對三維注視點坐標進行處理，得到地理經緯坐標系下的經緯注視點坐標，采用基于速度和時間閾值的方法解析出凝視數據；

S4、根據凝視數據提取出眼動特征。

在優選的實施例中，步驟S2包括以下步驟：

獲取頭部旋轉角度中的俯仰角、方位角、坡度角，得到頭部的旋轉矩陣；

根據二維注視點坐標、頭戴式顯示中相機的虛擬焦距、單個水平像素的大小與單個垂直像素大小，以及可視窗口的寬度和高度，計算頭戴式顯示中相機的內在矩陣；

通過旋轉矩陣與內在矩陣相乘，得到三維注視點坐標。

在優選的實施例中，步驟S3解析凝視數據的過程包括：

三維注視點坐標為(x,y,z)；計算出經緯注視點坐標：