[發明專利]利用視線落點與人機界面互動的方法

在審

• 申請號: 202111657046.7
• 申請日: 2021-12-30
• 公開（公告）號: CN114356482A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 周昱恒
• 申請（專利權）人: 業成科技（成都）有限公司;業成光電（深圳）有限公司;業成光電（無錫）有限公司;英特盛科技股份有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 楊冬梅;張錫軍

本發明系一種利用視線落點與人機界面互動的方法，系由以視線落點向外擴展產生虛擬視線落點框，而人機界面上各物件分別向外擴展產生物件標記框，當虛擬視線落點框與其中任一個物件標記框交疊，則表示為用戶欲點選虛擬視線落點框交疊之物件標記框所屬之物件，作為一候選物件，并在辨識周期內，計算該虛擬視線落點框與該人機界面其中任一該物件標記框交疊的次數及時間，再以該虛擬視線落點框與該人機界面其中任一該物件標記框交疊的次數及時間，決定出至少一個候選物件與執行物件，并執行此執行物件之動作。

技術領域

本發明系有關于人機界面互動之方法，尤其指一種利用視線落點與人機界面互動的方法。

背景技術

根據周小龍等人的「基于3D人眼模型的視線跟蹤技術綜述」論文(計算機輔助設計與圖形學學報，第29卷第9期，2017年9月，第1579～1589頁)提到，隨著計算機視覺技術的飛速發展，視線跟蹤技術已被廣泛應用于諸多領域。最早是關于眼動的研究，集中在神經學、心理學和行為學等領域。后來，隨著機器學習以及圖像處理技術的發展，眼動的研究被帶入視覺信息領域，通過結合機器學習、圖像處理技術形成了現在的視線跟蹤技術，成為當前一大研究熱點。

同文亦提到，計算機的普及讓人們能夠通過計算機來提高工作效率，通過網絡來進行知識共享及搜索。人機交互作為人與計算機的交互方式，已成為計算機研究領域一個非常重要的內容。然而，對于一些弱勢群體，如殘障人士，由于受到行動、語言能力的困擾，被隔絕于計算機和網絡之外。

此時，視線跟蹤技術作為一種使用時只需要眼睛的技術，為身障人士提供了一種全新的有效地與計算機交互的方式。在這樣的人機交互中，視線跟蹤的作用類似于鼠標的選擇功能，而借助視線注視某點來實現點擊操作，即利用視線落點選擇或點擊目標，無疑是一種比較便捷的方式。

但是視線控制的穩定性和精確度較難保證，也是基于視線跟蹤技術的人機交互應用中的一大難點及挑戰。然而此論文中只提到了如何提高視線落點的計算精準度，而且視線落點的精準度提高有限，在低成本的硬件配置下有許多的困難，而且也沒有提到如何讓視線落點與人機界面有效地進行互動，因此，如何在低成本的硬件配置下，利用視線落點與人機界面進行有效的互動，乃是目前亟需要解決的問題。

發明內容

有鑒于先前技術的問題，本發明之目的系為了利用視線落點與人機界面進行有效的互動，而且不論是使用高成本的硬件配置或者低成本的硬件配置，舉凡可以人機界面上產生視線落點者，就可以有效地與人機界面上的物件進行有效的互動。

根據本發明之目的，系提供一種利用視線落點與人機界面互動的方法，包括由電子裝置執行以下步驟，以視線落點為中心向外擴展產生虛擬視線落點框，而人機界面上各物件為中心分別向外擴展產生物件標記框，當虛擬視線落點框在辨識周期內，僅與人機界面其中任一個物件標記框交疊，則表示為用戶欲點選虛擬視線落點框交疊之物件標記框所屬之物件，作為一候選物件。

其中，電子裝置在一辨識周期內，計算虛擬視線落點框與人機界面其中任一物件標記框交疊的次數及時間。

其中，電子裝置在辨識周期內，虛擬視線落點框與人機界面其中一個物件標記框交疊，則確定為僅有一個候選物件，則候選做為執行物件，并執行此執行物件之動作。

其中，該虛擬視線落點框在辨識周期內，分別與人機界面其中任二個以上的物件標記框交疊，則確定為有二個以上的候選物件，再依據在辨識周期內虛擬視線落點框與交疊次數最高的其中一個候選物件，做為執行物件，并執行此執行物件之動作。

其中，當任二個以上的候選物件之交疊次數相同，再依據于辨識周期內交疊時間最多的候選物件，做為執行物件，并執行此執行物件之動作。

其中，當虛擬視線落點框在辨識周期內，分別與人機界面其中任二個以上的物件標記框交疊，則確定為有二個以上的候選物件，再依據在辨識周期內虛擬視線落點框與交疊時間最高的其中一個候選物件，做為執行物件，并執行此執行物件之動作。