[發明專利]一種按鍵與人眼識別結合的方法和裝置

在審

• 申請號: 202110050010.6
• 申請日: 2021-01-14
• 公開（公告）號: CN112817441A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 趙世軒
• 申請（專利權）人: 深圳卡多希科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06K9/00
• 代理公司: 深圳市智勝聯合知識產權代理有限公司 44368
• 代理人: 齊文劍

本發明涉及智能識別的技術領域，尤其涉及一種按鍵與人眼識別結合的方法和裝置，其方法包括，獲取用戶人眼圖像；調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息；根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息；采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件，避免了人眼確認帶來的誤差。

技術領域

本發明涉及智能識別的技術領域，尤其涉及一種按鍵與人眼識別結合的方法和裝置。

背景技術

目前，智能終端廣泛采用可觸摸的顯示屏作為輸入設備，接收用戶所輸入的命令。然而，隨著人工智能的不斷升級，人為觸控輸入的方式已難以滿足用戶的日益需求。

現今除了觸控控制方式，還有按鍵控制方式、語音控制方式，以及人眼控制方式。在一些特定的應用場景中，例如直播的過程中，語音控制方式顯然不便于應用其中。

而人眼識別技術現今還不是很完善，對于用戶的最終選擇判斷不準，給用戶帶了不好的交互體驗。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種按鍵與人眼識別結合的方法和裝置。

本發明提供一種按鍵與人眼識別結合的方法，包括：

獲取用戶人眼圖像；

調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息；

根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息；

采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件。

進一步的，所述調用預設的人眼識別模型對所述人眼圖像進行分析，確定所述人眼視覺焦點在選擇界面中的落點位置信息，包括：

獲取人眼圖像中人眼樣本集合，其中，所述人眼樣本集合中包含左眼視線向量和右眼視線向量；

根據所述左眼視線向量和右眼視線向量計算所述左眼和右眼匯聚于當前幀圖像上的視覺焦點坐標；

提取初始化神經網絡，對所述人眼樣本合集以及所述視覺焦點坐標進行訓練得到所述人眼識別模型。

進一步的，所述根據所述落點位置信息匹配用戶在選擇界面中所選擇的目標對象，在所述目標對象的顯示區域中顯示所述目標對象的被選信息，包括：

建立選擇界面的平面坐標系，得到所述選擇界面與所述人眼圖像的空間對應關系；

根據所述空間對應關系，將所述視覺焦點坐標轉化為所述落點位置信息；

獲取所述選擇界面中各選擇對象的顯示區域；

確定所述落點所屬的顯示區域，得到所述用戶在所述選擇界面中的所選目標對象。

進一步的，所述采集用戶的按鍵操作信息，在所述按鍵操作信息中獲取用戶對所述被選信息的確認指令，觸發與所述目標對象相應的事件，包括：

獲取與所述被選信息對應的按鍵邏輯條件；

判斷所采集的按鍵操作信息中是否包含符合所述按鍵邏輯條件的按鍵操作；若有，則觸發與所述目標對象相應的事件；若無，則重新采集用戶的按鍵操作信息。

還提供一種按鍵與人眼識別結合的裝置，包括：

圖像獲取模塊，用于獲取用戶人眼圖像；