[發明專利]視線檢測裝置及方法、圖像捕獲裝置及其控制方法

有效

• 申請號: 201410103773.2
• 申請日: 2014-03-19
• 公開（公告）號: CN104063709B
• 公開（公告）日: 2017-07-18
• 發明（設計）人: 金田雄司
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/20;H04N9/64
• 代理公司: 北京怡豐知識產權代理有限公司11293
• 代理人: 遲軍

技術領域

本發明涉及一種視線檢測裝置、圖像捕獲裝置、視線檢測方法、圖像捕獲裝置的控制方法。本發明尤其涉及一種適合用于檢測各種顏色的眼睛的視線的技術。

背景技術

迄今為止，已知如下技術：從包含人物面部的圖像中提取面部區域并分析提取出的面部區域，以識別該面部區域屬性。通過將該技術應用到圖像捕獲裝置，可以在要由圖像捕獲裝置拍攝的人物微笑的定時記錄面部圖像，或者可以在人物的視線朝向圖像捕獲裝置的定時記錄面部圖像。因此，上述技術是非常有用的。

例如，已知日本特開2007-265367號公報中討論的方法，作為用于基于面部圖像估計視線的方向的技術。該方法被稱為基于特征點的方法，其中，從面部圖像中檢測諸如眼睛和嘴的特征點，并且通過使用特征點之間的距離來估計視線的方向。同時，還已知如日本特開2009-59257號公報中討論的方法那樣的、所謂的基于表觀(appearance)的方法，其中，直接從面部圖像估計視線的方向，而不檢測特征點。

當采用基于特征點的方法時，為了以高精度檢測人物的視線，尤其需要準確地檢測眼部區域內的瞳孔(或者虹膜和瞳孔)的位置。另一方面，當采用基于表觀的方法時，需要準確地檢測諸如眼部區域內的瞳孔區域的邊緣的特征量。

然而，根據人物的不同，瞳孔內的虹膜區域的顏色可以是綠色、藍色、棕色和黑色等，因此，根據人物的不同而生成各種亮度圖案。可以將這些亮度圖案粗略地劃分為如下兩種類型：一種類型為，瞳孔區域內的亮度值的分布較小，如黑色瞳孔那樣；另一種類型為，瞳孔區域內的亮度值的分布較大，例如，諸如藍色瞳孔的淺色瞳孔。以這種方式，由于根據人物的不同而存在各種亮度圖案，因此當使用基于特征點的方法來檢測人物的視線時，瞳孔區域的重心位置可能彼此偏離，從而可能降低檢測視線的精度。同時，如果使用基于表觀的方法來檢測人物的視線，瞳孔區域中的特征量可能變化，因此同樣會降低檢測視線的精度。

發明內容

本發明使得能夠以高精度檢測視線，而與瞳孔區域內的虹膜區域的顏色無關。

根據本發明的一方面，提供了一種視線檢測裝置，其包括：獲得單元，其被配置為獲得面部圖像；區域設置單元，其被配置為在由所述獲得單元獲得的所述面部圖像中設置眼部區域；確定單元，其被配置為確定由所述區域設置單元設置的所述眼部區域的眼睛類型；參數設置單元，其被配置為基于由所述確定單元確定的所述眼睛類型，設置所述眼部區域的校正參數；生成單元，其被配置為生成基于所述校正參數校正了所述眼部區域的亮度圖像；以及視線檢測單元，其被配置為根據由所述生成單元生成的所述亮度圖像的所述眼部區域，檢測所述面部圖像中的面部的視線。

從以下參照附圖對示例性實施例的描述，本發明的其他特征將變得清楚。

附圖說明

圖1是例示根據第一示例性實施例的圖像捕獲裝置的整體結構示例的框圖。

圖2是例示根據第一示例性實施例的圖像捕獲裝置的整體處理過程的示例的流程圖。

圖3是例示視線檢測處理中的詳細處理過程的示例的流程圖。

圖4A和圖4B是用于描述面部、嘴和眼睛的中心位置及標準化(normalize)亮度圖像的圖。

圖5是用于描述整個面部區域的圖。

圖6是用于描述待設置的左眼區域和右眼區域的圖。

圖7是用于描述眼部區域內的虹膜區域的顏色差異的圖。

圖8是例示眼睛類型確定處理中的詳細處理過程的示例的流程圖。

圖9是用于描述不同的亮度值的直方圖的圖。

圖10是用于描述在X和Y方向上的投影直方圖的圖。

圖11是例示根據眼睛類型的校正處理中的詳細處理過程的示例的流程圖。

圖12是用于描述已經校正亮度的眼部區域的圖。

圖13是用于描述校正系數Th1與Th2之間的關系的圖。

圖14例示了要根據眼部區域內的虹膜區域的顏色應用的校正系數Th1和Th2的表的示例。

圖15是例示根據第二示例性實施例的圖像捕獲裝置的整體結構示例的框圖。

圖16是例示根據第二示例性實施例的圖像捕獲裝置的整體處理過程的示例的流程圖。

圖17是例示用于生成第二標準化亮度圖像的處理中的詳細處理過程的示例的流程圖。

圖18是例示根據第三示例性實施例的圖像捕獲裝置的整體結構示例的框圖。

圖19是例示根據第三示例性實施例的圖像捕獲裝置的整體處理過程的示例的流程圖。