[發明專利]一種眼控鼠標的人機交互方法及系統

有效

• 申請號: 201711175412.9
• 申請日: 2017-11-22
• 公開（公告）號: CN107831900B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 金星;李志城;張晶晶
• 申請（專利權）人: 中國地質大學(武漢)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06T7/136
• 代理公司: 42238 武漢知產時代知識產權代理有限公司
• 代理人: 龔春來

本發明提供一種眼控鼠標的人機交互方法，步驟如下：將頭盔式固定裝置放置在用戶的頭部，調整與所述頭盔式固定裝置連接的支架的位置，使與所述支架連接的攝像機位于用戶面部的前方；所述攝像機攝取人臉圖像；對所述人臉圖像中的眼部圖像進行定位；對所述眼部圖像中的瞳孔圖像進行提取，確定瞳孔中心的坐標；對所述攝像機的光斑中心進行定位，確定光斑中心的坐標；根據所述瞳孔中心的坐標和光斑中心的坐標計算瞳孔中心與光斑中心的橫向相對偏移量和縱向相對偏移量；將所述橫向相對偏移量和縱向相對偏移量映射為屏幕中的坐標點；根據所述坐標點的位置變化獲取用戶的眼動信息；將所述眼動信息轉成鼠標的工作模式。本發明增強了人機交互的適應性。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種眼控鼠標的人機交互方法及系統。

背景技術

在計算機技術的發展過程中，人機交互方式從最初的穿孔卡方式及以鼠標和鍵盤為代表的圖形用戶界面技術逐漸轉變為自然人機交互技術。傳統的人機交互方式實時性差，而基于語音和手勢的人機交互技術效率較低，人的視線具有直接性、自然性和雙向性等其他信息無法具備的特點，因此基于視線的人機交互方式成為了近年來人工智能和人機交互領域的研究熱點。

基于視線跟蹤的人機交互技術通過跟蹤人眼視線獲得的眼動信息實現眼控鼠標操作，進而實現人機交互。這種技術解放人的雙手，增加了使用設備的靈活性和趣味性，從而進一步促進以人為本的人機交互的發展與實現。

發明內容

有鑒于此，本發明提供了一種能夠降低視線跟蹤技術產生的干擾的眼控鼠標的人機交互方法，還提供了一種操作簡便的眼控鼠標的人機交互系統。

本發明提供一種眼控鼠標的人機交互方法，包括以下步驟：

S101，將頭盔式固定裝置放置在用戶的頭部，調整與所述頭盔式固定裝置連接的支架的位置，使與所述支架連接的攝像機位于用戶面部的前方；

S102，所述攝像機攝取人臉圖像；

S103，利用人臉分布先驗知識對所述人臉圖像中的眼部圖像進行定位；

S104，采用改進的瞳孔圖像提取及定位算法對所述眼部圖像中的瞳孔圖像進行提取和定位，確定瞳孔中心的坐標；

S105，利用質心法對所述攝像機的光斑中心進行定位，確定光斑中心的坐標；

S106，根據所述瞳孔中心的坐標和光斑中心的坐標計算瞳孔中心與光斑中心的橫向相對偏移量和縱向相對偏移量；

S107，將所述橫向相對偏移量和縱向相對偏移量映射為屏幕中的坐標點；

S108，根據所述坐標點的位置變化獲取用戶的眼動信息，所述眼動信息包括平滑運動、注視和眨眼；

S109，將所述眼動信息轉成鼠標的工作模式。

進一步地，所述支架包括第一支桿、第二支桿和第三支桿，所述第一支桿的一端與頭盔式固定裝置連接，所述第一支桿可沿著頭盔式固定裝置向上或向下轉動，所述第一支桿的另一端與第二支桿的一端活動連接，所述第二支桿的另一端與第三支桿的一端活動連接，所述第三支桿的另一端連接攝像機。

進一步地，步驟S103中，運用OpenCV對人眼圖像進行降噪處理。

進一步地，步驟S104中，采用改進的瞳孔圖像提取及定位算法對所述眼部圖像中的瞳孔圖像進行提取和定位的過程為：

4.1獲取眼部圖像的灰度分布直方圖，然后根據眼部圖像中的像素點分布情況剔除不含有像素點的灰度值；

4.2利用最大類間方差法計算眼部圖像的初始閾值；

4.3以灰度分布直方圖上的最小灰度值為起點，以初始閾值的40％～60％為終點，搜索第一峰值；