[發明專利]一種按鍵與人眼識別結合的方法和裝置

在審

• 申請號: 202110050010.6
• 申請日: 2021-01-14
• 公開（公告）號: CN112817441A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 趙世軒
• 申請（專利權）人: 深圳卡多希科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06K9/00
• 代理公司: 深圳市智勝聯合知識產權代理有限公司 44368
• 代理人: 齊文劍

1.一種按鍵與人眼識別結合的方法，其特征在于，包括：

獲取用戶人眼圖像；

調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息；

根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息；

采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件。

2.根據權利要求1所述的方法，其特征在于，所述調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息，包括：

獲取人眼圖像中人眼樣本集合，其中，所述人眼樣本集合中包含左眼視線向量和右眼視線向量；

根據所述左眼視線向量和右眼視線向量計算所述左眼和右眼匯聚于當前幀圖像上的視覺焦點坐標；

提取初始化神經網絡，對所述人眼樣本合集以及所述視覺焦點坐標進行訓練得到所述人眼識別模型。

3.根據權利要求2所述的方法，其特征在于，所述根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息，包括：

建立選擇界面的平面坐標系，得到所述選擇界面與所述人眼圖像的空間對應關系；

根據所述空間對應關系，將所述視覺焦點坐標轉化為所述落點位置信息；

獲取所述選擇界面中各選擇對象的顯示區域；

確定所述落點所屬的顯示區域，得到所述用戶在所述選擇界面中的所選目標對象。

4.根據權利要求1所述的方法，其特征在于，所述采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件，包括：

獲取與所述被選信息對應的按鍵邏輯條件；

判斷所采集的按鍵操作信息中是否包含符合所述按鍵邏輯條件的按鍵操作；若有，則觸發與所述目標對象相應的事件；若無，則重新采集用戶的按鍵操作信息。

5.一種按鍵與人眼識別結合的裝置，其特征在于，包括：

圖像獲取模塊，用于獲取用戶人眼圖像；

落點確定模塊，用于調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息；

對象匹配模塊，用于根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息；

用戶確認模塊，采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件。

6.根據權利要求5所述的裝置，其特征在于，所述落點確定模塊包括：

樣本獲取子模塊，用于獲取人眼圖像中人眼樣本集合，其中，所述人眼樣本集合中包含左眼視線向量和右眼視線向量；

坐標計算子模塊，用于根據所述左眼視線向量和右眼視線向量計算所述左眼和右眼匯聚于當前幀圖像上的視覺焦點坐標；

訓練模型子模塊，用于提取初始化神經網絡，對所述人眼樣本合集以及所述視覺焦點坐標進行訓練得到所述人眼識別模型。

7.根據權利要求6所述的裝置，其特征在于，所述對象匹配模塊包括：

關系建立子模塊，用于建立選擇界面的平面坐標系，得到所述選擇界面與所述人眼圖像的空間對應關系；

轉化子模塊，用于根據所述空間對應關系，將所述視覺焦點坐標轉化為所述落點位置信息；

區域獲取子模塊，獲取所述選擇界面中各選擇對象的顯示區域；

對象確定子模塊，確定所述落點所屬的顯示區域，得到所述用戶在所述選擇界面中的所選目標對象。

8.根據權利要求5所述的裝置，其特征在于，所述用戶確認模塊包括：

條件獲取子模塊，用于獲取與所述被選信息對應的按鍵邏輯條件；

判斷子模塊，用于判斷所采集的按鍵操作信息中是否包含符合所述按鍵邏輯條件的按鍵操作；若有，則觸發與所述目標對象相應的事件；若無，則重新采集用戶的按鍵操作信息。