[發(fā)明專利]用于虛擬現(xiàn)實(shí)頭戴式顯示下的眼動(dòng)信號(hào)處理方法及可穿戴設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010168958.7
• 申請(qǐng)日: 2020-03-12
• 公開（公告）號(hào): CN111427150B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 唐偉;舒琳;徐向民
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G02B27/00
• 分類號(hào): G02B27/00;G06F3/01;G02B27/01
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

1.用于虛擬現(xiàn)實(shí)頭戴式顯示下的眼動(dòng)信號(hào)處理方法，其特征在于，包括以下步驟：

S1、獲取受試者的頭動(dòng)數(shù)據(jù)和眼動(dòng)數(shù)據(jù)，根據(jù)獲取到的數(shù)據(jù)提取出頭部旋轉(zhuǎn)角度以及眼球在可視窗口中的二維注視點(diǎn)坐標(biāo)；

S2、根據(jù)頭部旋轉(zhuǎn)角度，將可視窗口中的二維注視點(diǎn)坐標(biāo)映射到三維球體空間坐標(biāo)系，得到三維注視點(diǎn)坐標(biāo)；

S3、對(duì)三維注視點(diǎn)坐標(biāo)進(jìn)行處理，得到地理經(jīng)緯坐標(biāo)系下的經(jīng)緯注視點(diǎn)坐標(biāo)，采用基于速度和時(shí)間閾值的方法解析出凝視數(shù)據(jù)；

S4、根據(jù)凝視數(shù)據(jù)提取出眼動(dòng)特征；

步驟S2包括以下步驟：

獲取頭部旋轉(zhuǎn)角度中的俯仰角、方位角、坡度角，得到頭部的旋轉(zhuǎn)矩陣；

根據(jù)二維注視點(diǎn)坐標(biāo)、頭戴式顯示中相機(jī)的虛擬焦距、單個(gè)水平像素的大小與單個(gè)垂直像素大小，以及可視窗口的寬度和高度，計(jì)算頭戴式顯示中相機(jī)的內(nèi)在矩陣；

通過旋轉(zhuǎn)矩陣與內(nèi)在矩陣相乘，得到三維注視點(diǎn)坐標(biāo)；

步驟S3解析凝視數(shù)據(jù)的過程包括：

根據(jù)三維注視點(diǎn)坐標(biāo)(x，y，z)計(jì)算出經(jīng)緯注視點(diǎn)坐標(biāo)

利用經(jīng)緯注視點(diǎn)坐標(biāo)求出時(shí)間上相鄰兩個(gè)注視點(diǎn)之間的距離Δσ：

其中，分別表示兩注視點(diǎn)的緯度坐標(biāo)，Δλ、分別表示兩注視點(diǎn)之間的經(jīng)度差、緯度差；

采用基于速度和時(shí)間閾值的方法解析出眼動(dòng)的凝視點(diǎn)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的眼動(dòng)信號(hào)處理方法，其特征在于，旋轉(zhuǎn)矩陣R為：

其中，俯仰角為α，方位角為β，坡度角為γ。

3.根據(jù)權(quán)利要求1所述的眼動(dòng)信號(hào)處理方法，其特征在于，內(nèi)在矩陣X為：

其中，二維眼動(dòng)坐標(biāo)為(P_x，P_y)，頭戴式顯示中相機(jī)的虛擬焦距為f，單個(gè)水平像素的大小為h，單個(gè)垂直像素大小為v，可視窗口的寬度為W，可視窗口的高度為H。

4.根據(jù)權(quán)利要求1所述的眼動(dòng)信號(hào)處理方法，其特征在于，采用基于速度和時(shí)間閾值的方法解析凝視點(diǎn)坐標(biāo)時(shí)，設(shè)置速度閾值為V_th和時(shí)間閾值為T_th；利用時(shí)間上相鄰兩個(gè)注視點(diǎn)之間的距離計(jì)算出眼球在相鄰兩個(gè)注視點(diǎn)之間移動(dòng)的速度其中Δt為眼球移動(dòng)時(shí)間；并將所述速度與速度閾值V_th進(jìn)行比較，當(dāng)且Δt＞T_th時(shí)，將該注視點(diǎn)標(biāo)記為相應(yīng)的凝視點(diǎn)。

5.根據(jù)權(quán)利要求1所述的眼動(dòng)信號(hào)處理方法，其特征在于，步驟S4提取的眼動(dòng)特征包括基于凝視的特征、基于掃視的特征和顯著性圖。

6.根據(jù)權(quán)利要求5所述的眼動(dòng)信號(hào)處理方法，其特征在于，基于凝視的特征包括凝視點(diǎn)的坐標(biāo)P(x_f，y_f)、凝視持續(xù)時(shí)間τ_f及凝視點(diǎn)數(shù)目n_f。

7.根據(jù)權(quán)利要求5所述的眼動(dòng)信號(hào)處理方法，其特征在于，基于掃視的特征包括掃視持續(xù)時(shí)間τ_s、掃視幅度a_s、掃視速度v_s、掃視絕對(duì)角Ab_s及掃視相對(duì)角Re_s。

8.可穿戴設(shè)備，包括用于獲取受試者頭動(dòng)數(shù)據(jù)和眼動(dòng)數(shù)據(jù)的數(shù)據(jù)采集設(shè)備、處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的眼動(dòng)信號(hào)處理方法。