[發(fā)明專利]眼控人機(jī)交互系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201710261706.7
• 申請日: 2017-04-20
• 公開（公告）號(hào): CN107145226A
• 公開（公告）日: 2017-09-08
• 發(fā)明（設(shè)計(jì)）人: 賀良華;劉婭婷;劉啟;葛來
• 申請（專利權(quán)）人: 中國地質(zhì)大學(xué)（武漢）
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司42238
• 代理人: 曹雄

1.一種眼控人機(jī)交互系統(tǒng)，其特征在于，包括圖像采集裝置(1)及主機(jī)(2)，所述圖像采集裝置(1)用于采集人臉部圖像信息并將采集到的人臉部圖像信息發(fā)送至所述主機(jī)(2)，所述主機(jī)(2)包括眼特征提取模塊(22)、瞳孔中心追蹤模塊(23)、坐標(biāo)轉(zhuǎn)換模塊(24)及鼠標(biāo)模擬模塊(25)，其中，所述眼特征提取模塊(22)用于接收圖像采集裝置(1)采集的人臉部圖像信息并根據(jù)接收到的人臉部圖像信息提取出眼部特征信息，所述瞳孔中心追蹤模塊(23)用于接收眼部特征信息并根據(jù)接收到眼部特征信息追蹤瞳孔中心并確定瞳孔中心坐標(biāo)，所述坐標(biāo)轉(zhuǎn)換模塊(24)用于接收瞳孔中心坐標(biāo)并將接收到的瞳孔中心坐標(biāo)映射成屏幕窗口中的坐標(biāo)，所述鼠標(biāo)模擬模塊(25)用于接收成屏幕窗口中的坐標(biāo)，并將接收到的屏幕窗口中的坐標(biāo)轉(zhuǎn)成鼠標(biāo)指令。

2.如權(quán)利要求1所述的眼控人機(jī)交互系統(tǒng)，其特征在于，所述圖像采集裝置(1)運(yùn)用OpenCv對臉部圖像信息進(jìn)行采集，運(yùn)用OpenCv對臉部圖像信息進(jìn)行采集的過程包括：與想要捕獲的攝像頭的接口對應(yīng)；以及接收視頻的每一幀圖像，并循環(huán)顯示。

3.如權(quán)利要求2所述的眼控人機(jī)交互系統(tǒng)，其特征在于，所述眼特征提取模塊(22)采用ROI提取的方式提取接收到的人臉部圖像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人臉部圖像信息中的眼部特征信息的過程包括：接收需要圈出的ROI區(qū)域；對攝像頭采集到的源圖像做ROI處理；以及載入并顯示該ROI區(qū)域。

4.如權(quán)利要求3所述的眼控人機(jī)交互系統(tǒng)，其特征在于，所述瞳孔中心追蹤模塊(23)利用霍夫變換追蹤瞳孔中心并定位瞳孔中心坐標(biāo)，利用霍夫變換追蹤瞳孔中心并定位瞳孔中心坐標(biāo)的過程包括：將采集到的眼部ROI區(qū)域進(jìn)行放大；將放大之后的ROI區(qū)域轉(zhuǎn)換為灰度圖；對灰度圖進(jìn)行高斯濾波去噪，并進(jìn)行顯示；對作完濾波處理的區(qū)域進(jìn)行canny邊緣檢測；以及進(jìn)行霍夫圓變換，算出圓的中心坐標(biāo)。

5.如權(quán)利要求4所述的眼控人機(jī)交互系統(tǒng)，其特征在于，所述坐標(biāo)轉(zhuǎn)換模塊(24)將接收到的人眼瞳孔中心坐標(biāo)映射成屏幕窗口中的坐標(biāo)的方法包括：選取屏幕窗口的四個(gè)基本點(diǎn)并依次對這四個(gè)點(diǎn)的瞳孔中心坐標(biāo)進(jìn)行采集；確定屏幕窗口四個(gè)點(diǎn)在屏幕中的實(shí)際位置；以及完成瞳孔中心坐標(biāo)到屏幕窗口坐標(biāo)的映射轉(zhuǎn)換。

6.一種眼控人機(jī)交互的方法，其特征在于，包括以下步驟：

采集人臉部圖像信息；

提取出眼部特征信息；

追蹤瞳孔中心并確定瞳孔中心坐標(biāo)；

將瞳孔中心坐標(biāo)映射成屏幕窗口中的坐標(biāo)；以及

將屏幕窗口中的坐標(biāo)轉(zhuǎn)成鼠標(biāo)指令。

7.如權(quán)利要求6所述的眼控人機(jī)交互方法，其特征在于，所述步驟“采集人臉部圖像信息”包括：與想要捕獲的攝像頭的接口對應(yīng)；以及接收視頻的每一幀圖像，并循環(huán)顯示。

8.如權(quán)利要求7所述的眼控人機(jī)交互方法，其特征在于，所述步驟“提取出眼部特征信息”包括：接收需要圈出的ROI區(qū)域；對采集到的源圖像做ROI處理；載入并顯示該ROI區(qū)域。

9.如權(quán)利要求8所述的眼控人機(jī)交互方法，其特征在于，所述步驟“追蹤瞳孔中心并確定瞳孔中心坐標(biāo)”包括：將采集到的眼部ROI區(qū)域進(jìn)行放大；將放大之后的ROI區(qū)域轉(zhuǎn)換為灰度圖；對灰度圖進(jìn)行高斯濾波去噪；對作完濾波處理的區(qū)域進(jìn)行canny邊緣檢測；以及進(jìn)行霍夫圓變換，算出圓的中心坐標(biāo)。

10.如權(quán)利要求9所述的眼控人機(jī)交互方法，其特征在于，所述步驟“將瞳孔中心坐標(biāo)映射成屏幕窗口中的坐標(biāo)”包括：選取屏幕窗口的四個(gè)基本點(diǎn)并依次對這四個(gè)點(diǎn)的瞳孔中心坐標(biāo)進(jìn)行采集；定屏幕窗口四個(gè)點(diǎn)在屏幕中的實(shí)際位置；以及完成瞳孔中心坐標(biāo)到屏幕窗口坐標(biāo)的映射轉(zhuǎn)換。