[發(fā)明專利]基于眼部動(dòng)作識(shí)別來實(shí)現(xiàn)人機(jī)信息交互的裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210111603.X
• 申請(qǐng)日: 2012-04-16
• 公開（公告）號(hào): CN102662473A
• 公開（公告）日: 2012-09-12
• 發(fā)明（設(shè)計(jì)）人: 楊通文
• 申請(qǐng)（專利權(quán)）人: 廣東步步高電子工業(yè)有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00
• 代理公司: 北京中海智圣知識(shí)產(chǎn)權(quán)代理有限公司 11282
• 代理人: 馬娟娟

1.基于眼部動(dòng)作識(shí)別來實(shí)現(xiàn)人機(jī)信息交互的裝置，其特征在于：該裝置包括攝像頭、距離感應(yīng)儀、重力感應(yīng)儀或陀螺儀、存儲(chǔ)器與處理器：

所述的攝像頭用于定時(shí)攝取移動(dòng)終端前一定范圍的圖像，其中：定時(shí)是指時(shí)間間隔＝30ms；

所述的距離感應(yīng)儀在判斷圖片的有效性的和開機(jī)校驗(yàn)參數(shù)時(shí)，用于獲取移動(dòng)終端與面部的距離；

所述的陀螺儀用于在判斷圖片的有效性和開機(jī)校驗(yàn)參數(shù)的時(shí)，獲取移動(dòng)終端在空間的位置，即獲取移動(dòng)終端正面與基準(zhǔn)面的夾角a和方向；

所述的存儲(chǔ)器用于儲(chǔ)存攝像頭攝取的圖像數(shù)據(jù)，以及圖像信息和對(duì)圖像進(jìn)行預(yù)處理所需的數(shù)據(jù)，包括：面部圖片、眼部圖片及瞳孔位置坐標(biāo)數(shù)據(jù)；

所述的處理器用于處理各個(gè)模塊需要處理的數(shù)據(jù)，其中各個(gè)模塊包括：獲取圖片模塊、判斷圖片有效性模塊、提取眼部圖片模塊、分析瞳孔中心位置模塊、獲取瞳孔中心位置序列模塊、位置序列分析模塊以及動(dòng)作處理模塊。

2.根據(jù)權(quán)利要求1所述的基于眼部動(dòng)作識(shí)別來實(shí)現(xiàn)人機(jī)信息交互的裝置，其特征在于：所述的移動(dòng)終端具備單獨(dú)CPU、攝像頭、顯示設(shè)備及足夠內(nèi)存；其中：所述的CPU主頻單核≥1GHZ，所述的攝像頭為像素≥500萬的前置攝像頭，所述的內(nèi)存為≥128M的內(nèi)存。

3.一種基于眼部動(dòng)作識(shí)別來實(shí)現(xiàn)人機(jī)信息交互的方法，其特征在于，該方法包括如下步驟：

步驟一、啟動(dòng)移動(dòng)終端開機(jī)系統(tǒng)，所述距離感應(yīng)儀進(jìn)行移動(dòng)終端與面部的距離參數(shù)校準(zhǔn)，重力感應(yīng)儀或陀螺儀進(jìn)行移動(dòng)終端正面與基準(zhǔn)面的夾角和方向參數(shù)校準(zhǔn)，移動(dòng)終端系統(tǒng)啟動(dòng)完畢，進(jìn)入待機(jī)界面；

步驟二、攝像頭的獲取圖片模塊每隔30ms獲取一次移動(dòng)終端前一定范圍的圖片，并將圖片數(shù)據(jù)儲(chǔ)存到儲(chǔ)存器中；

步驟三、判斷圖片有效性模塊分析所述獲取圖片的有效性，并判斷圖片是否有效做出處理：若不包含面部圖片，則丟棄；若包含面部圖片，則判斷圖片有效性，有效則提取圖片，并將提取圖片傳遞給提取眼部圖片模塊；

步驟四、所述提取眼部圖片模塊將提取的眼部圖片傳遞給分析瞳孔中心位置模塊；

步驟五、所述分析瞳孔中心位置模塊分析眼部圖片，鎖定瞳孔并計(jì)算瞳孔中心位置，然后將分析出來的位置坐標(biāo)加入瞳孔中心位置隊(duì)列；

所述的瞳孔中心位置隊(duì)列的大小是在程序中設(shè)定，隊(duì)列越大動(dòng)作識(shí)別越準(zhǔn)確；

所述的瞳孔中心位置隊(duì)列是分析瞳孔中心位置模塊與獲取瞳孔中心位置序列模塊共享數(shù)據(jù)(隊(duì)列)，即全局變量，開機(jī)初始化隊(duì)列為空；

步驟六、所述獲取瞳孔中位置序列模塊定時(shí)獲取瞳孔中心位置隊(duì)列全部數(shù)據(jù)，并將獲取的數(shù)據(jù)傳遞給位置序列分析模塊，其中：定時(shí)為間隔＝30ms；

步驟七、所述位置序列分析模塊分析所述瞳孔中心位置序列，得出眼部動(dòng)作，然后匹配位置序列編號(hào)動(dòng)作表得出的動(dòng)作編號(hào)傳遞給動(dòng)作處理模塊；所述的位置序列編號(hào)動(dòng)作表屬于位置序列分析模塊，在開機(jī)過程中初始化；

步驟八、所述動(dòng)作處理模塊根據(jù)動(dòng)作編號(hào)匹配動(dòng)作編號(hào)_消息表得出的消息(事件)發(fā)送消息給移動(dòng)終端的操作系統(tǒng)；所述的動(dòng)作編號(hào)_消息表屬于動(dòng)作處理模塊，在開機(jī)過程中初始化；

步驟九、移動(dòng)終端的操作系統(tǒng)根據(jù)接收的消息(事件)做出響應(yīng)，即：發(fā)送消息(事件)分發(fā)給其它應(yīng)用程序(進(jìn)程)，并將瞳孔位置映射到屏幕上類似于鼠標(biāo)的顯示。

4.根據(jù)權(quán)利要求3所述的基于人眼部動(dòng)作識(shí)別實(shí)現(xiàn)人機(jī)信息交互的方法，其特征在于：所述的距離感應(yīng)儀校驗(yàn)參數(shù)包括如下步驟：

進(jìn)入移動(dòng)終端提示界面，用戶設(shè)置視角校準(zhǔn)“最近距離”；

距離感應(yīng)儀檢驗(yàn)、計(jì)算并記錄所述“最近距離”數(shù)據(jù)；

返回移動(dòng)終端的提示界面，用戶設(shè)置視角校準(zhǔn)“最遠(yuǎn)距離”；

距離感應(yīng)儀檢驗(yàn)、計(jì)算并記錄所述“最遠(yuǎn)距離”數(shù)據(jù)；

得所述“最近距離”和“最遠(yuǎn)距離”的兩次數(shù)據(jù)的平均值L。

5.根據(jù)權(quán)利要求3所述的基于人眼部動(dòng)作識(shí)別實(shí)現(xiàn)人機(jī)信息交互的方法，其特征在于：所述的陀螺儀校驗(yàn)參數(shù)包括如下步驟：

進(jìn)入移動(dòng)終端提示界面，用戶設(shè)置視角校準(zhǔn)“最大仰角”；

距離感應(yīng)儀檢驗(yàn)、計(jì)算并記錄所述“最大仰角”數(shù)據(jù)；

返回移動(dòng)終端的提示界面，用戶設(shè)置視角校準(zhǔn)“最大俯角”；

距離感應(yīng)儀檢驗(yàn)、計(jì)算并記錄所述“最大俯角”數(shù)據(jù)；

得所述“最大仰角”和“最大俯角”的兩次數(shù)據(jù)的平均值b。