[發(fā)明專利]一種在線追蹤眨眼活動(dòng)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611166639.2
• 申請(qǐng)日: 2016-12-16
• 公開(kāi)（公告）號(hào): CN106778611A
• 公開(kāi)（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 薛超
• 申請(qǐng)（專利權(quán)）人: 天津牧瞳星科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種在線追蹤眨眼活動(dòng)的方法，主要用于追蹤實(shí)時(shí)視頻中眨眼的動(dòng)作。

背景技術(shù)

目前，V-J算法和比較法是國(guó)內(nèi)外常用于在線追蹤眨眼活動(dòng)的算法。V-J算法用于面部識(shí)別比較多，但是專門(mén)用于識(shí)別眼睛形狀的話，該算法還有一定的欠缺。此算法必須將視頻分割成每一個(gè)時(shí)間片段，然后一個(gè)一個(gè)的處理計(jì)算，運(yùn)算量大，速度緩慢，還將造成短小的眨眼瞬間不被識(shí)別的錯(cuò)誤。比較法原先運(yùn)用于癱瘓者的眼動(dòng)識(shí)別，頭部的運(yùn)動(dòng)，甚至只是四肢的活動(dòng)會(huì)導(dǎo)致這個(gè)算法的不準(zhǔn)確性，并且會(huì)誤將面部的其他部位誤算成眼睛。就硬件而言，現(xiàn)有的方法對(duì)硬件的要求過(guò)高，所需設(shè)備昂貴。比如德國(guó)SMI的眼動(dòng)眼鏡，它以一套紅外線攝像頭追蹤眼球運(yùn)動(dòng)軌跡，其動(dòng)態(tài)通過(guò)熱點(diǎn)圖反映出來(lái)。但是造價(jià)昂貴，市場(chǎng)價(jià)格20多萬(wàn)人民幣，不適于廣泛推廣。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種在線追蹤眨眼活動(dòng)的方法，主要用于追蹤實(shí)時(shí)視頻中眨眼的動(dòng)作。

本發(fā)明采用Viola-Jones(V-J)算法來(lái)發(fā)掘眼部形狀。它是建立在Haar的自動(dòng)學(xué)習(xí)方法上的。Haar分類器實(shí)際上是Boosting算法的一個(gè)應(yīng)用，Haar分類器用到了Boosting算法中的AdaBoost算法，只是把AdaBoost算法訓(xùn)練出的強(qiáng)分類器進(jìn)行了級(jí)聯(lián)，并且在底層的特征提取中采用了高效率的矩形特征和積分圖方法。Haar分類器＝Haar-like特征+積分圖方法+AdaBoost+級(jí)聯(lián)。

Haar分類器算法的要點(diǎn)如下：

①使用Haar-like特征做檢測(cè)。

②使用積分圖(Integral Image)對(duì)Haar-like特征求值進(jìn)行加速。

③使用AdaBoost算法訓(xùn)練區(qū)分人臉和非人臉的強(qiáng)分類器。

④使用篩選式級(jí)聯(lián)把強(qiáng)分類器級(jí)聯(lián)到一起，提高準(zhǔn)確率。

采用的第二種算法為比較法，即：計(jì)算機(jī)系統(tǒng)等待一個(gè)時(shí)機(jī)，這個(gè)時(shí)機(jī)為非機(jī)動(dòng)眨眼瞬間，這個(gè)瞬間發(fā)生的眨眼的方位被識(shí)別為眼睛的部位。這個(gè)瞬間的片段被儲(chǔ)存在系統(tǒng)中，接下的瞬間通過(guò)比較的方法來(lái)識(shí)別眼睛部位動(dòng)態(tài)的不同。這個(gè)算法比V-J優(yōu)秀的方面有兩點(diǎn)：1.所需運(yùn)算的內(nèi)容少很多，大大提高的速度；2.比較的內(nèi)容是確實(shí)的眼睛部位，而非通過(guò)運(yùn)算生成的眼睛部位。

本發(fā)明的算法是將現(xiàn)有的算法結(jié)合起來(lái)，即可以增加算法的準(zhǔn)確性，又可以降低算法的運(yùn)算成本。它只采用V-J算法的第一部分，然后將搜尋窗局限在一部分的視頻圖像中(而不是全頻)，大大縮小了繼續(xù)識(shí)別的區(qū)間，嚴(yán)格的規(guī)則也減少錯(cuò)誤的產(chǎn)生。

附圖說(shuō)明

圖1為步驟圖。

具體實(shí)施方式

為了更好的理解本發(fā)明，下面結(jié)合具體實(shí)施步驟對(duì)本發(fā)明進(jìn)行進(jìn)一步的描述。本發(fā)明分為以下8個(gè)實(shí)施步驟：

1.顯示別臉和鼻子：此步驟和V-J算法一樣，識(shí)別臉和鼻子，如果有許多臉部，該步驟只識(shí)別最大的臉。

2.找出搜尋窗：當(dāng)臉部被識(shí)別之后，整個(gè)面部作為搜尋窗口。

3.比較圖像區(qū)別：下一個(gè)時(shí)間點(diǎn)的面部圖像和剛剛確認(rèn)的搜尋窗中的作對(duì)比，形成差別圖。

4.尋找連續(xù)點(diǎn)：通過(guò)像素的區(qū)別連成一個(gè)區(qū)別的點(diǎn)圖。

5.過(guò)濾不合法元素：此步驟可以將不符合眼部運(yùn)算的噪音過(guò)濾掉(比如暗光造成的區(qū)別而不是眼動(dòng)造成的區(qū)別)，其方法為探索法，規(guī)律為比較像素的垂直距離。比如：作為眼睛，像素區(qū)別點(diǎn)圖大小必須差不多，垂直距離不能相差太大，眼部中點(diǎn)間距到眼睛橫距離的比率必須在2-5之間。

6.建立眼部范式：當(dāng)?shù)谖宀襟E確定的眼睛的位置之后，將“閉眼”作為基準(zhǔn)圖片，尋找“閉眼”運(yùn)用1/6秒時(shí)間，此時(shí)的閉眼的圖像被存儲(chǔ)。

7.追蹤眼部區(qū)域：此步驟建于眼睛部位的范式建立之后，每一個(gè)時(shí)間段的截圖作一次眼部狀態(tài)差別的更新。

8.識(shí)別眨眼：在眼部周?chē)膮^(qū)別也會(huì)同時(shí)被運(yùn)算。如果連續(xù)的動(dòng)作被發(fā)現(xiàn)，一個(gè)眨眼被識(shí)別并且記錄。該動(dòng)作必須為：當(dāng)像素的連續(xù)點(diǎn)組成的圖像位于兩眼識(shí)別框的1/2-2/3以下，記錄為不完全眨眼，2/3以上為完全眨眼。再加上時(shí)間的運(yùn)算，可以計(jì)算出每分鐘眨眼的頻率。

如果頭部運(yùn)動(dòng)過(guò)大，那么有可能識(shí)別會(huì)丟失。整個(gè)程序1-8會(huì)重新自動(dòng)啟動(dòng)。