[發明專利]一種基于神經網絡頭部運動補償的視線跟蹤方法

在審

• 申請號: 201210418252.7
• 申請日: 2012-10-26
• 公開（公告）號: CN102930252A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 秦華標;黃若浩;嚴偉洪
• 申請（專利權）人: 廣東百泰科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 廣州市越秀區海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 黃為

技術領域

本發明屬于圖像處理和模式識別技術領域，具體的涉及到一種基于神經網絡頭部運動補償的視線跟蹤方法。

背景技術

人類的信息加工在很大程度上依賴于視覺，來自外界約80%以上的信息是通過眼睛獲得的，所以，通過對人眼注視點的跟蹤能夠獲得人類對外部信息的感知及意圖，并將其運用在各個領域當中，發揮積極有效的作用。例舉來說，視線跟蹤技術在新一代人機交互、軍事軍備開發、汽車飛機駕駛、航空航天、體育運動、殘疾人輔助、虛擬現實和游戲等領域有著廣泛的應用前景，對提高殘疾人生活和自理水平，構建和諧社會，提高我國人機交互、無人駕駛等高新技術領域的自主創新能力有著極大的現實意義。

而現有視線跟蹤方法主要分為眼電圖法、接觸鏡/電磁線圈法、POG/VOG法及瞳孔—角膜反射法四種。其中瞳孔—角膜反射法具有較高的精度，其利用近紅外光源通過眼睛角膜反射形成高亮斑點作為參考點，利用瞳孔與光斑的位置信息確定注視點坐標，同時由于紅外波長處于視網膜的敏感范圍之外，所以不會對視網膜成像造成影響，具有安全可靠、無干擾等優點，相比另外幾種方法應用效果及綜合評定更佳，因此，瞳孔—角膜反射法也成為視線跟蹤方法的主流。瞳孔—角膜反射法可劃分為3維跟蹤方法和2維跟蹤方法。3維跟蹤方法對硬件的要求較高，通常需要兩個甚至兩個以上具有非常高的像素的攝像頭和多個紅外光源，通過求出眼球中心和瞳孔中心的3維坐標來進行視線的定位。所以，3維的視線跟蹤技術存在架構復雜、建模困難、實時性差等缺陷。相對的，2維跟蹤方法通過確定映射函數來定位眼睛注視點，相比3維跟蹤方法更易實現，應用也更廣泛，但是它也存在兩個主要的缺點：1、對頭部運動敏感，當頭部發生運動時定位的精度會急速下降；2，每次使用前都必須進行標定過程，所以也非常的不便，不利于更廣泛的應用于實際當中。

發明內容

本發明的目的在于克服現有技術的上述不足，提供了一種非接觸式、準確且快速的基于神經網絡頭部運動補償的視線跟蹤方法，該方法對硬件要求低，只需一個普通的攝像頭和兩個紅外光源，避免了3維跟蹤方法需要多個攝像頭的限制，大大降低了系統的復雜性及所需的計算量，提高了視線跟蹤的實時性；另外，允許頭部運動，只需一次標定即可直接使用，無需反復標定，解決了2維標定方法的主要缺陷。

具體的，本發明通過以下技術方案實現：

一種基于神經網絡頭部運動補償的視線跟蹤方法，首先在顯示屏兩個側邊的中點處分別放置兩個紅外光源，兩個紅外光源經人眼角膜反射后在人眼角膜表面上形成亮點圖像，并使瞳孔圖像出現暗瞳效應，而所述方法具體包含如下3個步驟?。

一、注視點靜態標定

頭部保持靜止，眼睛依次注視預設在顯示屏上的標定點，在由攝像頭獲取的暗瞳圖像中提取代表視線點變化的眼睛特征信息，再利用獲取的眼睛特征信息和對應標定點的信息建立靜態映射模型。

所述的標定點數量為9個，且在顯示屏上呈3X3對稱分布。

所述的眼睛特征信息為攝像頭獲取的暗瞳圖像中瞳孔中心到兩個紅外光源連線中心的向量。進一步，提取代表視線點變化的眼睛特征信息的過程包含以下5個步驟：

1）圖像預處理

a.彩色圖像灰度化

公式如下：

V=0.259R+0.578G+0.144B ]]>，

上式中V表示轉換后的灰度值，R，G，B分別為攝像頭采集圖像中的紅、綠、藍分量。

b.去噪聲處理預處理

采用高斯濾波器對圖像平滑預處理，公式如下：