[發明專利]一種基于自適應校準的非接觸式視線追蹤方法

有效

• 申請號: 201310719654.5
• 申請日: 2013-12-20
• 公開（公告）號: CN103761519B
• 公開（公告）日: 2017-05-17
• 發明（設計）人: 王軒;韓楷;張自力;于成龍;李鑫鑫;張加佳;劉猛;趙海楠;李曄;漆舒漢;關鍵;張江濤;劉博
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06K9/36
• 分類號: G06K9/36;G06K9/00
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙)44248
• 代理人: 張立娟

1.一種基于自適應校準的非接觸式視線追蹤方法，其特征在于，包括以下步驟：

步驟1：將獲取到的彩色圖像轉換成灰度圖，對圖像進行去噪處理；

步驟2：分析出圖像中灰度值最低的子區域，以這個灰度值作為域值將圖像分割成二值化圖像，利用所有小于閾值的點(x_k,y_k)，k＝1…N，N是直方圖中灰度小于閾值的點的個數，在二值化圖像粗定位瞳孔中心位置(x_pupil,y_pupil)，如式(1)和式(2)：

步驟3：根據粗定的瞳孔中心，把以它為中心的矩形區域設置為感興趣區域ROI；

步驟4：利用最大類間方差法設定一個初始閾值，然后對分割后的ROI圖像進行評估，如果從利用當前閾值分割后的圖像中搜索不到滿足條件的光斑，則自動調整閾值，重新分割圖像，再次進行搜索，直接搜索出滿足條件的全部光斑；

步驟5：利用質心法，確定五個光斑的中心坐標；

步驟6：基于幾何關系匹配光斑與光源；

步驟7：利用光斑提取過程中得到的角膜反射光斑區域，將光斑區域的點集的灰度替換成光斑提取過程中的最佳自適應閾值，然后采用經典閾值分割技術對圖像進行二值化，將圖像按照光斑提取過程中的最佳自適應閾值進行分割，得到瞳孔的大概區域；

步驟8：提取瞳孔的邊緣點集；

步驟9：利用橢圓擬合，得到瞳孔的中心坐標：首先用最小二乘橢圓擬合法，對候選點進行橢圓擬合，去除候選邊緣點中離橢圓中心的距離過遠的點；循環進行擬合，直到得到一個穩定的橢圓中心位置，這個穩定的橢圓中心位置，就是瞳孔的中心坐標；

步驟10：計算注視點；

步驟11：校準注視點；

步驟10中，計算注視點具體如下：

根據計算出的屏幕上四個光斑和瞳孔中心坐標，利用射影幾何中的交比不變原理進行空間坐標的映射，p代表瞳孔的中心，g代表人眼在屏幕上的注視點，V1，V2，V3，V4分別是屏幕四個角上的近紅外光源IR1，IR2， IR3，IR4產生的光斑對應的虛點；

U_V1，U_V2，U_V3，U_V4分別是虛點V1，V2，V3，V4在圖像平面上的映射點，所以這4個點也是虛點，而人眼上的實際光斑Gt1,Gt2,Gt3,Gt4在圖像中對應的點是U_R1，U_R2，U_R3，U_R4；圖像中捕獲的光斑與空間映射關系中圖像平面上的虛點之間存在一個固定的比例關系，如式(7)所示，其中α是一個取值近似于2.0的理論常量，U_RP和U_Ri可以從捕獲的圖像中計算出來，U_RP是由系統中靠近攝像機光軸位置的近紅外光源所產生的光斑；所以，當α取值為常量2.0的時候，U_V1，U_V2，U_V3，U_V4就能通過式(7)計算出來，這樣虛點和光斑之間的關系就確立，

U_Vi＝U_RP+α(U_Ri-U_RP),i＝1,2,3,4 (7)

根據交比不變原理，IR1與IR2的交比值等于V1與V2的交比值，且V1與V2的交比值等于U_V1與U_V2的交比值，所以IR1與IR2的交比值等于U_V1與U_V2的交比值；

假定圖像平面的4個虛點坐標為U_Vi＝(x_Vi,y_Vi)，以這4個點為基礎擴展出交點，假設這些交點的坐標為U_M＝(x_Mi,y_Mi)，M表示4個虛點和U_P進行連線的交點，U_V1與U_V2的交比值如式(8)所示，U_V2與U_V3的交比值如式(9)所示，

假設人眼在屏幕上的視線注視點坐標為g(x_g,y_g)，屏幕的寬度和高度分別為w和h，在屏幕所在的平面上有M1(x_g,0)和M2(w/2,0)，則IR1與IR2的交比值如式(10)所示，IR1和IR4的交比值如式(11)所示，利用交比等式 和解出人眼的注視點g，