[發(fā)明專利]圖像處理裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 200680046523.3
• 申請(qǐng)日: 2006-12-26
• 公開（公告）號(hào): CN101326546A
• 公開（公告）日: 2008-12-17
• 發(fā)明（設(shè)計(jì)）人: 筑澤宗太郎;早田啟介;山岡惠美
• 申請(qǐng)（專利權(quán)）人: 松下電器產(chǎn)業(yè)株式會(huì)社
• 主分類號(hào): G06T1/00
• 分類號(hào): G06T1/00
• 代理公司: 北京市柳沈律師事務(wù)所
• 代理人: 邸萬(wàn)奎

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)注視程度進(jìn)行判定的圖像處理裝置，所述注視程度為被攝對(duì)象對(duì)在被攝對(duì)象的視線方向上存在的物體的注視程度。

背景技術(shù)

在以往的對(duì)人物的注視方向進(jìn)行檢測(cè)的圖像處理裝置中，從由相機(jī)的拍攝所取得的圖像中，切出對(duì)象人物的臉部區(qū)域，從該區(qū)域檢測(cè)相當(dāng)于人類的眼睛的部分的眼睛區(qū)域，通過圖像處理從該眼睛區(qū)域檢測(cè)視線的方向。

但是，在這樣的裝置中，僅進(jìn)行視線方向的檢測(cè)，甚至不判斷對(duì)象人物是否注視該方向。

因此，通過圖像處理裝置獲得的信息與對(duì)象人物是否注視該方向的對(duì)象人物的意思之間的關(guān)系不明，所獲得的信息的利用方法被限制。

對(duì)于這樣的問題，作為判定人物的注視的程度即注視度的方式，提出了以下注視方向檢測(cè)方式，通過以一定的離散時(shí)間求臉部方向，計(jì)算其時(shí)間性的變化模式(pattern)和統(tǒng)計(jì)量，并與預(yù)先取得的標(biāo)準(zhǔn)的參照數(shù)據(jù)進(jìn)行比較，估計(jì)人物的注視狀態(tài)(例如參照專利文獻(xiàn)1)。

此外，也提出了以下注視度判定方式，在注視對(duì)象移動(dòng)，追隨該移動(dòng)而視線移動(dòng)時(shí)，判定為對(duì)象人物在注視著該注視對(duì)象(例如參照專利文獻(xiàn)2)。

還有將紙面(文件？)分為多個(gè)區(qū)域，設(shè)定各個(gè)區(qū)域中的區(qū)域注視度，使其總和為紙面注視度的注視度判定方法等。

在該方法中，在視線停留時(shí)間較長(zhǎng)時(shí)或多次停留時(shí)，區(qū)域注視度增加，而盡管在看對(duì)象但并未在看該區(qū)域時(shí)，區(qū)域注視度緩慢地衰減(例如參照非專利文獻(xiàn)1)。

專利文獻(xiàn)1：特開平9-147119號(hào)公報(bào)

專利文獻(xiàn)2：特開2004-62393號(hào)公報(bào)

非專利文獻(xiàn)1：大野健彥著インタラクテイブシステムとソフトウエア?WISS2000，pp.137-146，2000

發(fā)明內(nèi)容

發(fā)明要解決的問題

但是，在專利文獻(xiàn)1記載的所述以往的圖像處理裝置中，存在以下問題：由于視線方向與臉部方向一致的情況很少，所以注視方向本身可靠性較低，而且由于視線停留時(shí)間根據(jù)注視對(duì)象的復(fù)雜性和周圍的狀況而大幅地變化，所以決定具有通用性的閾值很困難。

此外，在專利文獻(xiàn)2及非專利文獻(xiàn)1中所述以往的圖像處理裝置中，也存在以下問題：為了進(jìn)行注視對(duì)象的跟蹤、或區(qū)域分割，注視對(duì)象必須是事先已知的對(duì)象，對(duì)于一般的注視對(duì)象不能適用。

本發(fā)明的目的在于提供，不管注視對(duì)象的形狀或周圍環(huán)境、對(duì)象未知或已知，都進(jìn)行穩(wěn)定的注視狀態(tài)判定的圖像處理裝置。

解決問題的方案

本發(fā)明的圖像處理裝置包括：朝向檢測(cè)單元，從包含人物圖像的規(guī)定圖像，檢測(cè)由所述人物圖像表示的人物的兩個(gè)身體部位的朝向信息；轉(zhuǎn)位檢測(cè)單元，根據(jù)所述兩個(gè)朝向信息，計(jì)算兩個(gè)朝向的轉(zhuǎn)位(displacement)的比即轉(zhuǎn)位比；以及注視狀態(tài)判定單元，將基于第一轉(zhuǎn)位比和第二轉(zhuǎn)位比的信息與注視判定條件進(jìn)行比較，以判定所述人物對(duì)規(guī)定物體的注視度，所述第一轉(zhuǎn)位比為，使用由所述朝向檢測(cè)單元從包含第一人物圖像的第一規(guī)定圖像中檢測(cè)出的第一朝向信息，通過所述轉(zhuǎn)位檢測(cè)單元計(jì)算的轉(zhuǎn)位比，所述第二轉(zhuǎn)位比為，使用由所述朝向檢測(cè)單元從包含所述第一人物圖像的第二規(guī)定圖像中檢測(cè)出的第二朝向信息，通過所述轉(zhuǎn)位檢測(cè)單元計(jì)算的轉(zhuǎn)位比，所述注視判定條件為，規(guī)定了所述人物對(duì)規(guī)定物體的注視度的條件。

根據(jù)本結(jié)構(gòu)，能夠?qū)崿F(xiàn)基于多個(gè)身體部位運(yùn)動(dòng)的相關(guān)所得的注視度判定，由此，與僅使用單獨(dú)的身體部位的方法相比，能夠進(jìn)行穩(wěn)定的注視度判定。

發(fā)明的有益效果

根據(jù)本發(fā)明，具有以下效果，能夠減少注視判定中的誤動(dòng)作，進(jìn)行穩(wěn)定的注視狀態(tài)判定。

附圖說明

圖1是表示本發(fā)明實(shí)施方式1的圖像處理裝置的結(jié)構(gòu)的方框圖；

圖2是表示本發(fā)明實(shí)施方式1的圖像處理裝置的處理流程的流程圖；

圖3是用于說明本發(fā)明實(shí)施方式1中的輸入圖像例的圖；

圖4是本發(fā)明實(shí)施方式1的軀體方向、臉部方向和視線方向的說明圖；

圖5是用于說明本發(fā)明實(shí)施方式1的轉(zhuǎn)位比的例子的圖；

圖6是本發(fā)明實(shí)施方式1的、臉部的旋轉(zhuǎn)軸和視線的旋轉(zhuǎn)軸的說明圖；

圖7是表示本發(fā)明實(shí)施方式1的、臉部的旋轉(zhuǎn)軸和視線的旋轉(zhuǎn)軸之間的關(guān)系的例子的說明圖；

圖8是表示本發(fā)明實(shí)施方式1的與各個(gè)注視判定條件一致的臉部方向和視線方向的轉(zhuǎn)位的時(shí)間變化模式的例子的說明圖；

圖9是表示本發(fā)明實(shí)施方式1的一例由注視狀態(tài)判定單元進(jìn)行的第一的注視狀態(tài)判定處理流程的流程圖；

圖10是表示本發(fā)明實(shí)施方式1的一例由注視狀態(tài)判定單元進(jìn)行的第二的注視狀態(tài)判定處理流程的流程圖；