[發(fā)明專利]基于SOC的視線跟蹤人機(jī)交互方法及裝置

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010123009.3
• 申請(qǐng)日: 2010-03-09
• 公開（公告）號(hào): CN101813976A
• 公開（公告）日: 2010-08-25
• 發(fā)明（設(shè)計(jì)）人: 秦華標(biāo);陳榮華
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/62
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍

技術(shù)領(lǐng)域

本發(fā)明涉及SOC(片上系統(tǒng))設(shè)計(jì)技術(shù)，視覺跟蹤算法屬于圖像處理和模式識(shí)別技術(shù)領(lǐng)域，具體是一種基于SOC的視線跟蹤人機(jī)交互裝置。

背景技術(shù)

人眼視線在人機(jī)交互中扮演重要角色，它具有直接、自然和雙向等優(yōu)點(diǎn)。目前視線跟蹤技術(shù)剛起步，未達(dá)到實(shí)用階段，成功的實(shí)用性項(xiàng)目很少并且價(jià)格昂貴，對(duì)硬件的要求高。視覺跟蹤技術(shù)一般可以分為兩類，接觸式和非接觸式。接觸式的精度高，但用戶須穿戴特殊器具，這會(huì)給用戶帶來(lái)很大的不舒適。非接觸式一般采用基于視頻圖像處理的辦法，通過(guò)分析人眼部分圖像判定視線方向，不對(duì)用戶產(chǎn)生干擾，使用更加方便。

基于視線跟蹤的人機(jī)交互裝置，目前研究的主要方向是基于計(jì)算機(jī)平臺(tái)或性能較高的嵌入式處理器，純軟件運(yùn)行的，但由于其算法計(jì)算復(fù)雜度高，占用系統(tǒng)資源多，不利于用戶利用此系統(tǒng)在計(jì)算機(jī)上做其他復(fù)雜的操作。鑒于純軟件實(shí)現(xiàn)視線跟蹤算法在人機(jī)交互裝置上的局限性，可利用硬件邏輯的并行性及流水線操作，將視線跟蹤算法中計(jì)算量較大部分用硬件實(shí)現(xiàn)，大大提高算法的執(zhí)行效率。經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，尚未有報(bào)道過(guò)有基于SOC的視線跟蹤人機(jī)交互方法及裝置。

發(fā)明內(nèi)容

本發(fā)明克服現(xiàn)有視線跟蹤技術(shù)中的不足，提供基于SOC的視線跟蹤人機(jī)交互方法及裝置。本發(fā)明通過(guò)合理的軟硬件劃分，在SOC平臺(tái)上實(shí)現(xiàn)，把復(fù)雜度較高部分即人眼區(qū)域檢測(cè)部分用硬件實(shí)現(xiàn)，大大提高算法的執(zhí)行效率。本發(fā)明通過(guò)如下技術(shù)方案實(shí)現(xiàn)：

一種基于SOC的視線跟蹤人機(jī)交互方法，該方法包括如下步驟：

(1)攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)，采用硬件邏輯模塊實(shí)現(xiàn)基于haar特征的Adaboost檢測(cè)算法，對(duì)所述數(shù)字圖像進(jìn)行人眼區(qū)域的檢測(cè)；

(2)根據(jù)檢測(cè)到的人眼區(qū)域，利用視線方向判別算法，判別出用戶視線，再將用戶視線方向轉(zhuǎn)化為鼠標(biāo)控制信號(hào)通過(guò)USB傳輸給計(jì)算機(jī)，實(shí)現(xiàn)人機(jī)交互。

上述的人機(jī)交互方法中，所述硬件邏輯模塊包括如下模塊：

積分模塊，完成數(shù)字圖像的積分與平方積分的計(jì)算，并將計(jì)算結(jié)果存放在存儲(chǔ)器上；子窗口掃描模塊，對(duì)整幀數(shù)字圖像子窗口的橫坐標(biāo)和縱坐標(biāo)按設(shè)定步長(zhǎng)進(jìn)行遍歷，得出待測(cè)子窗口的坐標(biāo)及長(zhǎng)寬；

子窗口處理模塊，判定待測(cè)子窗口是否為人眼子窗口；

子窗口融合模塊，對(duì)判定出的所有人眼子窗口進(jìn)行融合處理，即整合位置相近的窗口，然后重新調(diào)整人眼窗口位置，確定人眼區(qū)域。

上述的人機(jī)交互方法中，所述子窗口處理模塊是根據(jù)采用Modesto?Castrillón訓(xùn)練的右眼分類器，運(yùn)用Cascade級(jí)聯(lián)方法實(shí)現(xiàn)子窗口處理，具體步驟包括：首先提取右眼分類器的haar特征參數(shù)；將haar特征參數(shù)具體化，即將haar特征參數(shù)與掃描后的子窗口大小進(jìn)行匹配，再根據(jù)具體化后haar特征參數(shù)中矩形區(qū)域的位置讀取積分模塊計(jì)算出的積分?jǐn)?shù)據(jù)，最后運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口。

上述的人機(jī)交互方法中，所述運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口是將多個(gè)右眼弱分類器加權(quán)組成右眼強(qiáng)分類器，再將20級(jí)右眼強(qiáng)分類器串聯(lián)完成人眼子窗口的確定，具體步驟包括：首先根據(jù)每個(gè)右眼弱分類器中的haar特征參數(shù)及從積分模塊中讀取的積分?jǐn)?shù)據(jù)，計(jì)算出實(shí)際子窗口的haar特征值，再與當(dāng)前右眼弱分類器的閾值進(jìn)行比較，確定此右眼弱分類器的權(quán)值，最后將這些右眼弱分類器的權(quán)值進(jìn)行累加，再與右眼強(qiáng)分類器的閾值做比較，如果大于此閾值，則通過(guò)此級(jí)右眼強(qiáng)分類器的驗(yàn)證，進(jìn)入下一級(jí)右眼強(qiáng)分類器的判別，如果小于此閾值，則認(rèn)為此子窗口為非人眼區(qū)域；當(dāng)子窗口通過(guò)20級(jí)右眼強(qiáng)分類器的驗(yàn)證，則可確定為人眼子窗口。

上述的人機(jī)交互方法中，所述視線方向判別算法是根據(jù)位于計(jì)算機(jī)屏幕四個(gè)角上的四個(gè)LED紅外光源在人眼角膜上形成的四個(gè)反射亮點(diǎn)，即普爾欽斑點(diǎn)，與瞳孔中心之間的幾何位置關(guān)系計(jì)算視線方向。

上述的人機(jī)交互方法中，所述視線方向判別算法具體步驟包括：首先采用灰度投影方法定位瞳孔中心，在以瞳孔中心為中心，在其上下左右30個(gè)像素的區(qū)域內(nèi)搜索普爾欽斑點(diǎn)，計(jì)算瞳孔中心與所述四個(gè)反射亮點(diǎn)的關(guān)系，確定其視線方向。