[發明專利]一種基于眼動跟蹤的人機交互方法

有效

• 申請號: 201310684342.5
• 申請日: 2013-12-13
• 公開（公告）號: CN103677270A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 程洪;姬艷麗;劉雅齊;楊路
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 成都信博專利代理有限責任公司 51200
• 代理人: 卓仲陽

1.一種基于眼動跟蹤的人機交互方法，包括五組朝向計算機操作者的紅外光源和一臺內置紅外濾光片的相機，其中四組紅外光源（LED1、LED2、LED3、LED4）設置在計算機顯示屏的四個角落，另一組紅外光源（LED5）設置在相機鏡頭周圍；相機設置在計算機顯示屏下方并連接到計算機，相機鏡頭朝向操作者面部；其特征在于，包括

標定的步驟，包括

101：計算機通過相機捕獲操作者注視顯示屏任一角落的紅外光源時的面部圖像，對圖像進行眼睛檢測、光斑檢測和瞳孔檢測，得到瞳孔中心、相機鏡頭周圍的紅外光源（LED5）對應的光斑中心和該組紅外光源對應的光斑中心，計算對應的標定系數；

102：依照上述操作，分別計算操作者注視顯示屏其它角落的紅外光源時對應的標定系數；

捕獲和檢測圖像的步驟，包括

201：計算機通過相機以幀頻F持續捕獲操作者觀看顯示屏的面部圖像；

202：對每一幀圖像進行眼睛檢測、光斑檢測、瞳孔檢測和凝視點估計；

判斷眨眼的步驟，包括

301：判斷以任意時刻t為起始點的時間段T_L中捕獲的L幀連續圖像，L=T_L*F；如果L幀圖像中有且僅有一個時間段T_K中捕獲的K幀連續的圖像未檢測到光斑，T_K<T_L,設定為操作者眨眼一次；如果L幀圖像中有兩個時間段T_K1和T_K2中各自捕獲的K1和K2幀連續的圖像未檢測到光斑，T_K1<T_L、T_K2<T_L且T_K1+T_K2<T_L，并且兩個時間段各自捕獲的連續圖像之間的其它圖像檢測到光斑，設定為操作者眨眼兩次；

判斷凝視點變化的步驟：

401：設任意時刻t捕獲的那一幀圖像中的凝視點在屏幕上的橫坐標g_x縱坐標g_y；

402：判斷以時刻t為起始點的時間段T_R中的R幀連續圖像，R=T_R*F，如果R幀圖像中的凝視點均停留在以橫坐標g_x縱坐標g_y為圓心，半徑為r的圓內，設定為凝視點停留；

403：判斷以時刻t為起始點的時間段T_D中的D幀連續圖像，D=T_D*F，如果D幀圖像中的凝視點的橫坐標和縱坐標單調減小，且總的減小量分別超過橫坐標變化量X和縱坐標變化量Y，設定為凝視點向左上方移動；

404：判斷以時刻t為起始點的時間段T_U中的U幀連續圖像，U=T_U*F，如果U幀圖像中的凝視點的橫坐標和縱坐標單調增加，且總的增加量分別超過橫坐標變化量X和縱坐標變化量Y，設定為凝視點向右下方移動；

輸出交互指令的步驟，包括

501：如操作者眨眼一次，則輸出鼠標左鍵單擊的指令；

502：如操作者眨眼兩次，則輸出鼠標左鍵雙擊的指令；

503：如凝視點停留，則輸出鼠標右鍵單擊的指令；

504：如凝視點向左上方移動，則輸出鼠標滾輪向上滾動的指令；

505：如凝視點向右下方移動，則輸出鼠標滾輪向下滾動的指令。