[發(fā)明專(zhuān)利]檢測(cè)數(shù)字圖像中的臉部表情

有效

• 申請(qǐng)?zhí)枺?/td>: 200980102866.0
• 申請(qǐng)日: 2009-01-20
• 公開(kāi)（公告）號(hào): CN102007499A
• 公開(kāi)（公告）日: 2011-04-06
• 發(fā)明（設(shè)計(jì)）人: D·埃米利安;E·斯泰恩伯格;E·扎拉科維;P·比吉奧埃;S·佩特雷斯酷;C·尼格希納;M·甘吉亞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 泰塞拉技術(shù)愛(ài)爾蘭公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施例主要地涉及檢測(cè)數(shù)字圖像中的臉部表情及其應(yīng)用的領(lǐng)域。

背景技術(shù)

準(zhǔn)確地和自動(dòng)地標(biāo)識(shí)數(shù)字圖像中的臉部表情已經(jīng)證實(shí)成問(wèn)題。臉部圖像的近似30％是代表具有各種臉部表情的臉部的圖像如快照。當(dāng)常規(guī)臉部分類(lèi)裝置用來(lái)檢測(cè)一般圖像中的臉部時(shí)，檢測(cè)準(zhǔn)確性與具有基本上相同臉部表情的圖像相比較低。因此，問(wèn)題在于現(xiàn)有技術(shù)方案的臉部分類(lèi)裝置不能準(zhǔn)確地檢測(cè)臉部表情和諸如微笑、皺眉等具體臉部表情。

發(fā)明內(nèi)容

提供一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相機(jī)中的處理的技術(shù)。該技術(shù)涉及標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的像素組。在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分辨率圖像的集合，并且在集合內(nèi)跟蹤臉部。采集集合的多個(gè)圖像的裁剪版本。在多個(gè)圖像內(nèi)積累臉部的微笑狀態(tài)信息。基于積累的微笑狀態(tài)信息對(duì)臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)。基于分析結(jié)果來(lái)選擇一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。

臉部識(shí)別可以應(yīng)用于多個(gè)圖像中的一個(gè)或者多個(gè)圖像。可以訓(xùn)練各自包括具體識(shí)別的人臉的圖像的相對(duì)短的分類(lèi)器級(jí)聯(lián)。相對(duì)短的分類(lèi)器級(jí)聯(lián)可以包括具體識(shí)別的人臉的不同姿態(tài)和照明。確定姿態(tài)和/或照明條件，并且基于確定的姿態(tài)和/或照明來(lái)調(diào)節(jié)相對(duì)短的分類(lèi)器級(jí)聯(lián)。可以在臉部識(shí)別為或者未識(shí)別為一個(gè)或者多個(gè)具體人之一時(shí)和/或在臉部分類(lèi)為有微笑或者無(wú)微笑時(shí)啟動(dòng)或者延遲圖像采集。

該技術(shù)還可以包括針對(duì)臉部確定姿態(tài)和/或照明條件，以及訓(xùn)練基于確定的姿態(tài)和/或照明條件來(lái)調(diào)節(jié)的具體臉部分類(lèi)器集。

統(tǒng)計(jì)微笑狀態(tài)的分類(lèi)可以包括分配哈爾(Haar)和/或人口普查特征鏈。

對(duì)與臉部對(duì)應(yīng)的像素組的標(biāo)識(shí)可以包括應(yīng)用與分類(lèi)近似相同的哈爾和/或人口普查特征。

裁剪版本可以各自基本上僅包括圖像中的包括臉部的或者僅包括臉部的嘴部區(qū)域的區(qū)域。

分類(lèi)可以包括閾值化，從而分類(lèi)結(jié)果可以是微笑、無(wú)微笑或者無(wú)結(jié)論之一。閾值化可以包括比較統(tǒng)計(jì)微笑狀態(tài)與微笑可能性在60％-90％之間的第一閾值或者微笑可能性為10％-40％的第二閾值或者這二者，其中60％-90％或者更多對(duì)應(yīng)于微笑結(jié)果，而10％-40％或者更少對(duì)應(yīng)于無(wú)微笑結(jié)果，并且在10％-40％和60％-90％之間對(duì)應(yīng)于無(wú)結(jié)論結(jié)果。第一閾值可以近似80％而第二閾值可以近似20％。

分類(lèi)可以包括：計(jì)算相對(duì)較低分辨率圖像的集合中的幀之間的統(tǒng)計(jì)微笑差別矢量，以及確定某個(gè)閾值或者更多差別對(duì)應(yīng)于姿態(tài)、照明或者其他圖像參數(shù)的驟變或者可變微笑狀態(tài)。可以確認(rèn)某個(gè)閾值或者更多差別的具體成因。

可以標(biāo)識(shí)和跟蹤多個(gè)臉部。可以對(duì)針對(duì)多個(gè)臉部中的各臉部的微笑狀態(tài)信息進(jìn)行分類(lèi)。如果將多于第一閾值數(shù)目的臉部分類(lèi)為無(wú)微笑和/或如果將少于第二閾值數(shù)目的臉部分類(lèi)為微笑，則可以啟動(dòng)與微笑相關(guān)的組拍攝操作。與微笑相關(guān)的組拍攝操作可以包括向用戶(hù)觸發(fā)告警信號(hào)或者延遲對(duì)組拍攝的采集直至確定將少于第一閾值數(shù)目的臉部分類(lèi)為無(wú)微笑和/或?qū)⒍嘤诘诙撝禂?shù)目的臉部分類(lèi)為微笑。

可以通過(guò)組合至少一個(gè)數(shù)字采集圖像的一個(gè)或者多個(gè)臉部區(qū)域與相對(duì)較低分辨率圖像的集合中的一個(gè)或者多個(gè)圖像的最佳微笑區(qū)域來(lái)合成最佳微笑圖像。最佳微笑區(qū)域可以包括分類(lèi)為微笑的概率最高的嘴部區(qū)域。

也提供一種便攜數(shù)字圖像采集設(shè)備，該設(shè)備包括：透鏡和圖像傳感器，用于采集數(shù)字圖像；處理器；以及一個(gè)或者多個(gè)處理器可讀介質(zhì)，具有嵌入于其中的代碼，該代碼用于對(duì)處理器進(jìn)行編程以實(shí)現(xiàn)根據(jù)如這里上文或者下文描述的任一技術(shù)。

提供一個(gè)或者多個(gè)處理器可讀介質(zhì)，具有嵌入于其中的代碼，用于對(duì)處理器進(jìn)行編程以實(shí)現(xiàn)根據(jù)如這里上文或者下文描述的任一技術(shù)。

也提供一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相機(jī)中的處理的方法。標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的像素組。該方法也包括：在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分辨率圖像的集合，以及跟蹤所述相對(duì)較低分辨率圖像的集合內(nèi)的所述臉部。采集包括臉部的集合中的多個(gè)圖像的裁剪版本。該方法也包括在多個(gè)圖像內(nèi)積累臉部的微笑狀態(tài)信息。基于積累的微笑狀態(tài)信息對(duì)臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)。基于分析結(jié)果來(lái)選擇和/或啟動(dòng)一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。

該方法可以包括將臉部識(shí)別應(yīng)用于多個(gè)圖像中的一個(gè)或者多個(gè)圖像。

可以針對(duì)臉部確定姿態(tài)或者照明條件或者這二者。可以基于確定的姿態(tài)或者照明或者這二者來(lái)調(diào)節(jié)具體臉部分類(lèi)器集。

對(duì)統(tǒng)計(jì)微笑狀態(tài)的分類(lèi)可以包括分配哈爾和/或人口普查特征鏈。