[發(fā)明專利]注視檢測設(shè)備和注視檢測方法

在審

• 申請?zhí)枺?/td>: 201710203077.2
• 申請日: 2017-03-30
• 公開（公告）號(hào): CN107368774A
• 公開（公告）日: 2017-11-21
• 發(fā)明（設(shè)計(jì)）人: 石井大祐;中島哲
• 申請（專利權(quán)）人: 富士通株式會(huì)社
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 康建峰,楊華

技術(shù)領(lǐng)域

本文論述的實(shí)施方式涉及用于基于捕捉到的人眼圖像來檢測注視方向的注視檢測設(shè)備和注視檢測方法。

背景技術(shù)

正在進(jìn)行的工作是檢測人眼的注視方向，從而獲得關(guān)于吸引人的注意的對(duì)象的信息或者自動(dòng)執(zhí)行與注視方向或者正在注視的人的位置相關(guān)的操作。為了方便起見，下文中將由人注視的位置簡稱為注視位置。

人的注視位置或注視方向與人的瞳孔指向的方向密切相關(guān)。有鑒于此，已知提供根據(jù)捕捉的人眼的圖像檢測瞳孔并基于瞳孔相對(duì)于參考點(diǎn)的位置關(guān)系來識(shí)別人的注視方向或注視位置的技術(shù)。例如，光源的角膜反射圖像(下文中被稱為浦肯野(Purkinje)圖像)被用作參考點(diǎn)。

然而，在一些情況下，浦肯野圖像可能與瞳孔重疊，并且在眼睛圖像中可能不能完整地捕捉瞳孔。當(dāng)這發(fā)生時(shí)，可能不能從眼睛圖像中準(zhǔn)確地檢測瞳孔。為了解決這個(gè)問題，已經(jīng)提出了一種技術(shù)，其積極利用浦肯野圖像中包含的信息，從而即使當(dāng)大部分瞳孔被浦肯野圖像遮住時(shí)也能穩(wěn)定地檢測瞳孔(例如，參照日本未審查專利公開(特開)第2012-24154號(hào))。

根據(jù)在日本未審查專利公開(特開)第2012-24154號(hào)中公開的瞳孔檢測設(shè)備，以浦肯野圖像內(nèi)的參考點(diǎn)作為一端來設(shè)置每個(gè)預(yù)定長度的多個(gè)線段，并且基于參考亮度和線段上的每個(gè)像素的亮度來計(jì)算每個(gè)線段的亮度評(píng)估分?jǐn)?shù)。然后，基于計(jì)算出的評(píng)估分?jǐn)?shù)，瞳孔檢測設(shè)備從多個(gè)線段中識(shí)別通過瞳孔圖像的中心的瞳孔的中心線，并且基于瞳孔的中心線附近的亮度條件來檢測瞳孔圖像。

發(fā)明內(nèi)容

然而，浦肯野圖像不是唯一可能覆蓋眼睛圖像中的瞳孔圖像的圖像。例如，當(dāng)觀察者佩戴眼鏡時(shí)，由眼鏡反射的光源的圖像可能與瞳孔圖像重疊。還存在多個(gè)光源的圖像可以反射到眼睛圖像中的可能性。在這種情況下，日本未審查專利公開(特開)第2012-24154號(hào)中公開的技術(shù)可能不能夠準(zhǔn)確地檢測瞳孔。

在一個(gè)方面，本發(fā)明的目的是提供一種注視檢測設(shè)備，其即使在眼睛的瞳孔被所捕捉的圖像中的另一圖像部分隱藏時(shí)也能夠估計(jì)用戶眼睛的瞳孔位置。

根據(jù)一種實(shí)施方式，提供了一種注視檢測設(shè)備。該注視檢測設(shè)備包括：圖像捕捉單元，其生成表示用戶的雙眼的圖像；眼睛檢測單元，其針對(duì)雙眼中的每只眼睛而從圖像中檢測包含該眼睛的眼睛區(qū)域；瞳孔檢測單元，其針對(duì)雙眼中的一只眼睛而從眼睛區(qū)域中檢測包含瞳孔的瞳孔區(qū)域；估計(jì)單元，其基于針對(duì)該一只眼睛檢測到的瞳孔區(qū)域，獲得針對(duì)雙眼中的另一只眼睛的在圖像上的瞳孔區(qū)域的估計(jì)形狀；瞳孔再檢測單元，其通過從針對(duì)該另一只眼睛檢測到的眼睛區(qū)域內(nèi)搜索具有與估計(jì)形狀匹配的形狀的區(qū)域來檢測瞳孔區(qū)域；以及注視檢測單元，其基于針對(duì)雙眼中的每只眼睛檢測到的瞳孔區(qū)域的位置來檢測用戶的注視方向。

附圖說明

圖1是示出數(shù)字標(biāo)牌系統(tǒng)的實(shí)現(xiàn)注視檢測設(shè)備的一個(gè)實(shí)施方式的硬件配置的圖。

圖2是示出照明光源、紅外相機(jī)和顯示單元的配置的一個(gè)示例的圖。

圖3是用于實(shí)現(xiàn)注視檢測過程的控制單元的功能框圖。

圖4是示出估計(jì)范圍的一個(gè)示例的圖。

圖5是示出照明光源與用戶的注視方向之間的關(guān)系的一個(gè)示例的圖。

圖6是示出如何校正估計(jì)范圍的位置的一個(gè)示例的圖。

圖7是示出用于確定估計(jì)范圍的位置的方法的另一示例的圖。

圖8是示出注視方向和瞳孔區(qū)域的形狀之間的關(guān)系的一個(gè)示例的圖。

圖9是示出當(dāng)用戶的面部相對(duì)于紅外相機(jī)的視線成角度定向時(shí)，注視方向與瞳孔區(qū)域的形狀之間的關(guān)系的一個(gè)示例的圖。

圖10是提供如何基于瞳孔區(qū)域的未被隱藏部分的輪廓來估計(jì)瞳孔的重心的位置的概況的示意圖。

圖11是示出映射表的一個(gè)示例的圖。

圖12是示出注視位置表的一個(gè)示例的圖。

圖13是示出注視檢測過程的操作流程的圖。

具體實(shí)施方式

下面，參照附圖描述注視檢測設(shè)備。注視檢測設(shè)備通過使用相機(jī)捕捉被用光源照明的用戶的雙眼來生成圖像，并且通過檢測圖像上的各眼睛的瞳孔來檢測用戶的注視方向。然后，基于所檢測到的一只眼睛的瞳孔相對(duì)于針對(duì)每只眼睛預(yù)設(shè)的參考點(diǎn)的位置關(guān)系，注視檢測設(shè)備設(shè)置估計(jì)范圍，在所述估計(jì)范圍內(nèi)所述瞳孔被估計(jì)為位于另一只眼睛中。此外，基于在圖像上針對(duì)一只眼睛檢測到的瞳孔的形狀，注視檢測設(shè)備在圖像上獲得針對(duì)另一只眼睛的瞳孔的估計(jì)形狀。然后，基于估計(jì)范圍和瞳孔的估計(jì)形狀，注視檢測設(shè)備再次執(zhí)行用于檢測另一只眼睛的瞳孔的過程。