[發明專利]提高視線跟蹤系統準確度的補償方法與裝置

在審

• 申請號: 201410545580.2
• 申請日: 2014-10-16
• 公開（公告）號: CN104360732A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 王健;范晨陽;丁峰;蘇金星
• 申請（專利權）人: 南京大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

一、技術領域

本發明屬于視線跟蹤技術領域，具體涉及一種使用補償方法以提高視線跟蹤系統準確度的方法與裝置。

二、背景技術

眼睛是人類從外界獲取信息的重要器官，也是反映人的心理活動的窗口。科學研究表明，大腦中約有80％～90％的知識和記憶都是通過眼睛獲取的。作為人類心靈的窗戶，眼睛的運動測量和視線跟蹤正受到國內外有關學者越來越多所關注與研究，已成為模式識別和計算機視覺領域中研究十分活躍的課題。

在人眼檢測過程中，一個重要的環節是利用攝像頭獲取的眼睛圖像，從而計算得出眼睛圖像中的瞳孔中心位置。為了更精確的檢測瞳孔中心，改善圖像傳感器的成像質量，往往會采用外加的主動光源作為補光源，利用產生的明瞳或者暗瞳效應，增大圖像中瞳孔與虹膜的顏色對比度。通過標定過程，將圖像處理后獲得的瞳孔中心點與屏幕上的對應特征點進行映射，得到映射關系，以計算用戶的實時注視點位置。

然而在現有的視線跟蹤系統中，還存在一些問題，導致了現有系統精確性的不足。

(1)現有系統所使用的外加光源亮度往往是光強不可變的。當用戶需要在不同的時間或者場所使用視線跟蹤系統時，由于外界環境光照情況不可能一樣，常常會出現獲得的眼部圖像過亮或是過暗的情況，為后續的圖像處理帶來了很大的難度和額外計算量。而若采用每次使用前實時調整光強的方法，又過于繁瑣。

(2)由于外界光源和外加主動光源的影響，不同環境不同時間進行的實驗中，用戶的瞳孔大小會發生變化，若不考慮該變化，會影響到系統的精確度。

(3)現有的視線跟蹤系統在標定過程及視線跟蹤過程中，對頭部靜止性的要求較高。用戶的頭部運動，尤其是前后運動，會很大程度上影響到實驗結果，造成錯誤的注視點計算。

本發明針對目前視線跟蹤系統中存在的以上影響系統精確度的問題，公開了一些補償性方法的關鍵性設計，特別是根據利用環境亮度的外部自適應設計和根據獲得眼部圖片質量的內部自適應設計，從多種途徑反饋改變外加光源的亮度進行補償和實時測量用戶瞳孔半徑和與屏幕間的距離，利用線性插值進行注視點補償。改善了獲得圖片質量，提高了系統魯棒性。

三、發明內容

本發明的目的是針對上述現有視線跟蹤系統存在的準確度問題，提出了一種有效的自適應補償方法與裝置，重點解決了在不同環境亮度下，得到眼部圖像的質量差異不可預測的問題以及用戶不同瞳孔半徑和頭部位置造成的注視點誤差問題。大大提高了視線跟蹤系統的魯棒性和準確性，對所獲取眼部圖像的質量也有明顯改善作用。

本發明的技術方案是：圍繞影響視線跟蹤系統準確度的幾個主要因素，采用反饋和補償的方法提高系統準確性，主要分為三個方面：1)利用外界環境光強檢測及獲取眼部圖像質量檢測控制外加主動光源的強度。2)利用實時測量用戶瞳孔大小，對注視點結果進行補償。3)利用實時測量用戶頭部與屏幕的距離，對注視點結果進行補償。本發明公開了視線跟蹤系統中以上幾種有效的自適應補償方法與裝置，可以提高系統魯棒性和眼部圖像的成像質量。

圖1給出了本發明的系統功能結構圖。系統由外界環境光源測量模塊、眼部圖像質量檢測模塊、瞳孔半徑測量模塊、用戶頭部與屏幕距離檢測模塊以及線性補償與修正模塊五部分組成，系統結構圖如圖1所示。

具體來說：

(1)外界環境光源測量模塊的功能是：實時地檢測用戶與系統當前所處環境下的外界光照情況(由環境光源與外加主動光源疊加形成)。并將檢測得到的結果反饋給外加光源強度修正模塊。如圖2所示。

(2)眼部圖像質量檢測模塊及眼部圖像質量檢測模塊的功能是：檢測在當前環境光照和外加光源共同作用下所獲得的眼部圖像。眼部圖像質量檢測模塊判定圖像是否出現欠曝或者過曝現象。并將所得的結果反饋給外加光源強度修正子模塊，決定當前的外光源強度是否合適以及是否需要調節。眼部圖像質量檢測模塊檢測獲取眼部圖像中用戶的瞳孔半徑，與理想狀態下瞳孔半徑進行比較，并由此對注視點結果進行補償性修正。如圖3所示。

(3)用戶頭部與屏幕距離檢測單元的功能是：實時檢測當前狀態下用戶頭部與屏幕之間的距離，若該距離與標定時距離有所改變，則需要對注視點結果進行補償性修正。如圖4所示。

(4)外加光源強度修正子模塊的功能是：實時地接受上述的外界環境光源測量模塊及圖像質量檢測單元所反饋的信息，以決定是否需要變更當前的光照強度。當圖像出現過曝情況時，需要適當將光源強度減弱；當圖像出現欠曝情況時，則需要適當將光源強度加強；當圖像滿足要求時，保持當前強度不變。如圖5所示。