[發(fā)明專利]一種自拍視頻中眼睛圖像的調(diào)正方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010264043.2
• 申請(qǐng)日: 2010-08-27
• 公開(kāi)（公告）號(hào): CN101930543A
• 公開(kāi)（公告）日: 2010-12-29
• 發(fā)明（設(shè)計(jì)）人: 袁杰;鄭暉;劉詩(shī)詩(shī)
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 黃振華

技術(shù)領(lǐng)域

本發(fā)明涉及視頻數(shù)據(jù)處理和成像領(lǐng)域，特別是一種自拍視頻中眼睛圖像的調(diào)正方法。

背景技術(shù)

在數(shù)字視頻處理的應(yīng)用領(lǐng)域中，尤其隨著3G通信網(wǎng)絡(luò)的普及，視頻自拍和網(wǎng)絡(luò)視頻的應(yīng)用越來(lái)越廣泛。目前存在一個(gè)很令人煩惱的現(xiàn)狀，就是視頻采集裝置一般都位于顯示裝置的外邊緣附近，如圖2所示。在這種情況下，當(dāng)被拍攝人目光注視顯示裝置的屏幕時(shí)，顯示裝置上的成像結(jié)果是眼睛的注視點(diǎn)偏離顯示裝置的屏幕，簡(jiǎn)而言之，就是屏幕觀察者獲得的人臉顯示圖像中眼睛圖像歪的，而非正視的，人類視覺(jué)所感受到的眼睛圖像的“正視”與“非正視”主要是根據(jù)人眼中鞏膜、虹膜以及瞳孔的相對(duì)位置感受的，一般認(rèn)為虹膜和瞳孔位于鞏膜中心位置即為“正視”，否則為“非正視”。而當(dāng)被拍攝人目光注視視頻采集裝置時(shí)，顯示裝置上的成像結(jié)果是眼睛的注視點(diǎn)朝向顯示裝置的屏幕但被拍攝人自己看不到這一成像結(jié)果，如圖1a和圖1b所示。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種自拍視頻中眼睛圖像的調(diào)正方法，從而使得被拍攝者在注視屏幕時(shí)，視頻采集裝置采集并最終顯示出來(lái)的是眼睛正視的圖像。

為了解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種自拍視頻中眼睛圖像的調(diào)正方法，包括以下步驟：

步驟一，目標(biāo)眼睛圖像檢測(cè)和定位：從視頻圖像中檢測(cè)并定位眼睛的位置；

步驟二，眼睛圖像中鞏膜圖像、虹膜圖像以及瞳孔圖像的識(shí)別定位：根據(jù)灰度區(qū)分出鞏膜圖像和虹膜圖像；根據(jù)紋理區(qū)分出虹膜圖像和瞳孔圖像；定位鞏膜圖像和虹膜圖像、虹膜圖像和瞳孔圖像的相對(duì)位置；

步驟三，虹膜圖像和瞳孔圖像的二次投影，將虹膜圖像和瞳孔圖像平移到鞏膜圖像的中心，從而實(shí)現(xiàn)眼睛圖像的調(diào)正。

本發(fā)明中，優(yōu)選地，所述步驟一包括以下步驟：

步驟(11)，對(duì)自拍視頻的圖像進(jìn)行預(yù)處理；包括使用腐蝕膨脹法加強(qiáng)圖像中各個(gè)分散點(diǎn)的連通性，使用中值濾波處理圖像使得圖像更加平滑。此步驟可以采用本領(lǐng)域常見(jiàn)的圖像處理方法，同時(shí)，本步驟不是本發(fā)明的必要步驟，只是優(yōu)化步驟之一，本發(fā)明在脫離了本步驟的情況下，仍然能夠?qū)崿F(xiàn)發(fā)明目的。

步驟(12)，圖像進(jìn)行色度空間轉(zhuǎn)換，由于在雙色差或色調(diào)飽和度平面上，不同人種的膚色變化不大，膚色的差異更多的是存在于亮度而不是色度，因此可以根據(jù)膚色情況從自拍視頻的圖像中識(shí)別出人臉圖像；例如在光照良好且對(duì)比度適宜的情況下，即平均亮度值在100～200之間，對(duì)比度在50％～80％之間，膚色區(qū)域在YCbCr空間占據(jù)102＜Cb＜128，125＜Cr＜160的范圍。

步驟(13)，根據(jù)灰度法從人臉圖像中識(shí)別出左、右眼睛的圖像；根據(jù)眼球區(qū)域和面部圖像在灰度上的截然不同，通過(guò)對(duì)該區(qū)域圖像進(jìn)行黑白二值化處理后即可根據(jù)灰度的不同快速劃分出兩者的分界。

本發(fā)明中，優(yōu)選地，所述步驟二包括以下步驟：

步驟(21)，對(duì)識(shí)別出的眼睛圖像進(jìn)行黑白二值化處理，并根據(jù)灰度法識(shí)別出鞏膜圖像和虹膜圖像；根據(jù)鞏膜和虹膜圖像在灰度上的截然不同，通過(guò)對(duì)該區(qū)域圖像進(jìn)行黑白二值化處理后即可根據(jù)灰度的不同快速劃分出兩者的分界。

步驟(22)，根據(jù)紋理分析法識(shí)別出虹膜圖像和瞳孔圖像，并計(jì)算虹膜圖像和瞳孔圖像的相對(duì)位置；虹膜區(qū)域有較多復(fù)雜的紋理，而瞳孔區(qū)域基本呈現(xiàn)單一紋理并且虹膜區(qū)域總是呈現(xiàn)圓形，因此可以對(duì)該區(qū)域進(jìn)行分塊傅里葉變換分析或分塊離散余弦變換，通過(guò)分析變換域中高頻分量，高頻分量多表明該區(qū)域紋理復(fù)雜，為虹膜區(qū)域，反之則為瞳孔區(qū)域，從而給出空間域兩者之間的界限。

步驟(23)，計(jì)算出瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角α和距離d。

本發(fā)明中，優(yōu)選地，所述步驟三包括以下步驟：

步驟(31)，將虹膜圖像平移到鞏膜圖像的中心；

步驟(32)，對(duì)于虹膜圖像平移后鞏膜圖像上的圖像缺失部分，使用平移前虹膜圖像周圍的鞏膜圖像進(jìn)行填充；

步驟(33)，根據(jù)瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角α和距離d，將平移后的虹膜圖像所在的圓形區(qū)域以圓心為中心進(jìn)行有向旋轉(zhuǎn)；旋轉(zhuǎn)方向?yàn)棣?α，旋轉(zhuǎn)角度為rtan^-1(d/r)，其中r為瞳孔的半徑。

步驟(34)，對(duì)于虹膜圖像有向旋轉(zhuǎn)后空缺部分，使用鞏膜圖像周圍的虹膜圖像進(jìn)行填充。