[發明專利]一種眼控鼠標的人機交互方法及系統

有效

• 申請號: 201711175412.9
• 申請日: 2017-11-22
• 公開（公告）號: CN107831900B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 金星;李志城;張晶晶
• 申請（專利權）人: 中國地質大學(武漢)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06T7/136
• 代理公司: 42238 武漢知產時代知識產權代理有限公司
• 代理人: 龔春來

1.一種眼控鼠標的人機交互方法，其特征在于，包括以下步驟：

S101，將頭盔式固定裝置放置在用戶的頭部，調整與所述頭盔式固定裝置連接的支架的位置，使與所述支架連接的攝像機位于用戶面部的前方；

S102，所述攝像機攝取人臉圖像；

S103，利用人臉分布先驗知識對所述人臉圖像中的眼部圖像進行定位；

S104，采用改進的瞳孔圖像提取及定位算法對所述眼部圖像中的瞳孔圖像進行提取和定位，確定瞳孔中心的坐標；其中，采用改進的瞳孔圖像提取及定位算法對所述眼部圖像中的瞳孔圖像進行提取和定位的過程為：

4.1獲取眼部圖像的灰度分布直方圖，然后根據眼部圖像中的像素點分布情況剔除不含有像素點的灰度值；

4.2利用最大類間方差法計算眼部圖像的初始閾值；

4.3以灰度分布直方圖上的最小灰度值為起點，以初始閾值的40％～60％為終點，搜索第一峰值；

4.4以搜索到的第一峰值為中心，計算灰度分布直方圖上的最小灰度值到第一峰值的第一距離，然后向第一峰值的右方延伸與第一距離相同的距離獲得搜索閾值；

4.5對獲得的初始閾值和搜索閾值進行求和計算，并計算出初始閾值和搜索閾值的平均值，將該平均值作為眼部圖像的分割閾值；

4.6根據分割閾值獲得分割后的瞳孔圖像；

S105，利用質心法對所述攝像機的光斑中心進行定位，確定光斑中心的坐標；

S106，根據所述瞳孔中心的坐標和光斑中心的坐標計算瞳孔中心與光斑中心的橫向相對偏移量和縱向相對偏移量；

S107，將所述橫向相對偏移量和縱向相對偏移量映射為屏幕中的坐標點；

S108，根據所述坐標點的位置變化獲取用戶的眼動信息，所述眼動信息包括平滑運動、注視和眨眼；

S109，將所述眼動信息轉成鼠標的工作模式。

2.如權利要求1所述的眼控鼠標的人機交互方法，其特征在于，所述支架包括第一支桿、第二支桿和第三支桿，所述第一支桿的一端與頭盔式固定裝置連接，所述第一支桿可沿著頭盔式固定裝置向上或向下轉動，所述第一支桿的另一端與第二支桿的一端活動連接，所述第二支桿的另一端與第三支桿的一端活動連接，所述第三支桿的另一端連接攝像機。

3.如權利要求1所述的眼控鼠標的人機交互方法，其特征在于，步驟S103中，運用OpenCV對人眼圖像進行降噪處理。

4.如權利要求1所述的眼控鼠標的人機交互方法，其特征在于，步驟S106中，所述瞳孔中心與光斑中心的橫向相對偏移量的計算公式為：

x＝x₁-x₀

式中，x為瞳孔中心與光斑中心的橫向相對偏移量，x₁為瞳孔中心的橫坐標，x₀為光斑中心的橫坐標；

所述瞳孔中心與光斑中心的縱向相對偏移量的計算公式為：

y＝y₁-y₀

式中，y為瞳孔中心與光斑中心的縱向相對偏移量，y₁為瞳孔中心的縱坐標，y₀為光斑中心的縱坐標。