[發明專利]一種基于神經網絡頭部運動補償的視線跟蹤方法

在審

• 申請號: 201210418252.7
• 申請日: 2012-10-26
• 公開（公告）號: CN102930252A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 秦華標;黃若浩;嚴偉洪
• 申請（專利權）人: 廣東百泰科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 廣州市越秀區海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 黃為

1.一種基于神經網絡頭部運動補償的視線跟蹤方法，其特征在于在顯示屏兩個側邊的中點處分別放置兩個紅外光源，兩個紅外光源經人眼角膜反射后在人眼角膜表面上形成亮點圖像，并使瞳孔圖像出現暗瞳效應，其中，所述方法包含如下步驟?：

（1）注視點靜態標定：頭部保持靜止，眼睛依次注視預設在顯示屏上的標定點，在由攝像頭獲取的暗瞳圖像中提取代表視線點變化的眼睛特征信息，再利用獲取的眼睛特征信息和對應標定點的信息建立靜態映射模型；

（2）頭部運動補償：在靜態映射模型建立后，利用BP神經網絡訓練頭部運動補償模型；

（3）通過靜態映射模型和頭部運動補償模型組成動態人眼注視點匹配模型，以計算眼睛的注視點。

2.根據權利要求1所述的基于神經網絡頭部運動補償的視線跟蹤方法，其特征在于步驟1中所述的標定點數量為9個，且在顯示屏上呈3X3對稱分布。

3.根據權利要求1所述的基于神經網絡頭部運動補償的視線跟蹤方法，其特征在于步驟1中所述的眼睛特征信息為攝像頭獲取的暗瞳圖像中瞳孔中心到兩個紅外光源連線中心的向量。

4.根據權利要求3所述的基于神經網絡頭部運動補償的視線跟蹤方法，其特征在于步驟1中所述的提取代表視線點變化的眼睛特征信息的過程為：

1）圖像預處理

a.彩色圖像灰度化

公式如下：

，

上式中V表示轉換后的灰度值，R，G，B分別為攝像頭采集圖像中的紅、綠、藍分量；

b.去噪聲處理預處理

采用高斯濾波器對圖像平滑預處理，公式如下：

，

所使用的對應高斯濾波器的離散近似模板如下所示，其中δ=1.4：

；

2）定位人眼區域

利用Modesto?Castrillón訓練得到的右眼分類器對圖像進行人眼定位，首先截取整幅圖像中所有60×60的子窗口,?每個子窗口依次通過級聯分類器，逐級淘汰非人臉子窗口；其中，當有多個通過全部級聯分類器的子窗口時，對3個待選人臉子窗口進行相鄰子窗口合并，選出最佳人臉子窗口；當沒檢測到符合要求的子窗口時，令子窗口大小以1.2倍每次進行遞增，重新通過級聯分類器進行檢測，直至檢測到符合要求的子窗口；

3）定位瞳孔獲得瞳孔信息

a.采用canny邊緣檢測算法獲取瞳孔的邊緣信息；

b.采用橢圓曲線擬合瞳孔邊緣點；

對所提取的瞳孔邊緣點集合進行橢圓方程的最小二乘法擬合，然后確定瞳孔中心位置，

其中，橢圓方程取為：

，

利用最小二乘法求取A、B、C、D、E的參數值，

按如下公式得到橢圓中心坐標（X₀，Y₀）：

，；

其中（X₀，Y₀）即為瞳孔中心位置；

4）定位斑點，獲取斑點信息

a.二值化眼睛區域獲得斑點圖像

通過閾值處理，獲取二值化斑點圖像，根據二值化后的斑點圖像與瞳孔中心之間的距離篩選出真正的斑點輪廓集合，其中，距離瞳孔中心最近的兩個斑點即為真正的斑點輪廓集合；

b.采用橢圓曲線擬合斑點輪廓

分別獲取所述兩個斑點的中心坐標，得到這兩個斑點中點連接線的中點坐標（Xc，Yc）及兩個斑點中點間的歐式距離D?；

5）特征信息

獲取由瞳孔中心（X₀，Y₀）指向（Xc，Yc）的向量V，向量V即為眼睛特征信息。