[發明專利]用于發現和跟蹤雙眼的方法和裝置

有效

• 申請號: 200880116337.1
• 申請日: 2008-11-12
• 公開（公告）號: CN101861118A
• 公開（公告）日: 2010-10-13
• 發明（設計）人: 恩里科·澤思丘
• 申請（專利權）人: 視瑞爾技術公司
• 主分類號: A61B3/113
• 分類號: A61B3/113;G06K9/00
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 王光輝

本發明涉及一種用于實時發現并進而跟蹤至少一張臉上的雙眼的三維坐標的非接觸式方法。

例如，與接觸式方法不同，用于發現和跟蹤臉部的非接觸式方法不需要任何額外手段，例如頭戴式攝像機或聚光燈。這些非接觸式方法的優點在于要跟蹤的對象的自由移動不會受到物理手段的任何限制，并且使用這種手段不會讓使用者感到厭煩。

非接觸式檢測和跟蹤方法是公知的現有技術。例如，專利文件US?6539?100?B1和專利文件EP?0?350?957?B1公開了如何借助從已記錄的圖像中提取的特定臉部和眼睛特征來檢測觀察者的觀看方向。專利文件US?6539?100?B1描述了用于找出觀察者正在觀看哪個對象的方法，專利文件EP0?350?957?B1還具有在一段特定時期跟蹤眼睛運動的目的。

專利文件DE?197?31?303?A1公開了一種即使頭和眼睛快速和大范圍運動時也能測量眼睛觀看方向的非接觸式無頭盔的方法和裝置。眼睛被紅外光照射，通過光學系統成像并且由至少一個圖像傳感器記錄；隨后，觀看方向處理器處理因此生成的圖像，然后在監視器上顯示，其中觀看方向處理器可以通過主處理器設置為通過尋找眼瞳中心位置和確定角膜反射來確定觀看方向。

專利文件WO?03/079?902?A1也描述了一種在各種照明條件下實時檢測和跟蹤眼睛的非接觸式方法。通過執行以下步驟來檢測眼睛：記錄兩個主動照明圖像，其中一個圖像表示眼睛的“亮瞳孔效果”以及另一個圖像表示眼睛的“暗瞳孔效果”；生成這兩個圖像的差分圖像，生成的差分圖像僅示出兩個圖像對比度不同之處的差異；標示出差分圖像中的差異點作為可能的眼睛；以及為了能高概率地在差分圖像中分辨出眼睛和非眼睛，將可能的眼睛與預先記錄的作為參考圖像的眼睛以及非眼睛的圖像進行比較。通過使用卡爾曼濾波器以及將預期的眼睛位置與差分圖像中實際檢測的眼睛位置進行比較來檢測圖像中的眼睛，然后跟蹤眼睛。如果比較沒有產生任何結果，借助于聚類算法在進一步的步驟中確定眼睛的位置，聚類算法基于可能的眼睛位置在圖像中的亮度對它們的位置進行聚類，并且將這些聚類與預期位置進行比較。

該公知技術方法存在一些缺點。一方面，檢測和跟蹤眼睛的過程利用了基于具有“亮瞳孔效果”的圖像和具有“暗瞳孔效果”的圖像使用隔行掃描方法生成的圖像，這兩個圖像是逐個記錄的，而不是由一個圖像傳感器同時記錄的。通過隔行掃描方法與圖像的疊加一起記錄時間上不重合的圖像不允許對眼睛的可靠實時檢測和跟蹤，該方法旨在減少傳輸的圖像數據量。另一方面，由于眼睛到光源的距離增加時主動照明減少，其導致不再能將要檢測的眼睛與差分圖像中的其他對象或噪聲區分開，因此該方法僅允許檢測和跟蹤空間上非常接近圖像傳感器的眼睛。

專利文件WO2007/019842嘗試消除這些缺點，其使用分層組織程序找出眼睛位置，其中從整個視頻幀(VF)的數據量到目標臉部區域(GZ)的數據量，最后是目標眼睛區域(AZ)的數據量，要處理的數據量逐漸減少。此外，每個程序或每組程序始終在一個專用計算單元上執行，以使它們平行運行。不過，專利文件WO2007/019842并沒有解釋如何發現和跟蹤眼睛。

然而，實時檢測和跟蹤眼睛是人機交互的決定性因素。因此，特別需要提供一種能精確地實時發現和跟蹤眼睛的檢測和跟蹤眼睛的方法。

精確和高效確定Z方向上的位置也是必要的，尤其在臉部可能在所有空間方向進行大幅快速移動的動態應用環境中。這種動態應用例如包括自動立體或全息顯示，只有在空間和時間上精確確定了觀察者的眼睛位置，期望的圖像效果才會出現，這樣自動立體或全息圖像信息就可以導向實際的眼睛位置。與此相反，在現有技術中公知的靜態應用中，例如用于監測駕駛員和飛行員的裝置，由于在這些應用中對象的移動范圍在所有空間方向通常都限制到最小，因此檢測和跟蹤范圍相當小。

現有技術中公知的方法還存在不能實時傳送眼睛位置信息的問題，尤其是識別和跟蹤多個臉部時。

因此，本發明的目的是提供一種允許在足夠大的檢測和跟蹤范圍內可靠、精確并高效地在所有三個空間方向實時發現和跟蹤一個或多個臉部的眼睛位置的方法，其僅產生低的計算量。特別是，本發明的目的是能高效和精確發現至少一只眼睛。

該目的根據本發明中包括以下步驟的方法來實現：接收至少一個圖像傳感器的一個或多個作為視頻信號的序列提供的圖像數據；在圖像數據中發現眼睛或跟蹤已發現的眼睛；確定發現或跟蹤的眼睛的三維坐標；分配發現或跟蹤的眼睛以形成雙眼；以及提供雙眼的三維坐標。

在優選實施例中，圖像數據以至少一個圖像傳感器記錄的視頻序列的形式接收。或者也可以使用其他傳輸方式接收圖像數據，例如以單一圖像的形式。