[發明專利]組合式眼睛和手勢跟蹤

有效

• 申請號: 201780065536.3
• 申請日: 2017-07-05
• 公開（公告）號: CN109863466B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: A.羅爾巴克爾
• 申請（專利權）人: 哈曼貝克自動系統股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03;G06F3/0481
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 高巍

公開了一種用于控制組合式眼睛和手勢跟蹤系統(100)的方法，其中所述方法包括：向用戶提供圖形用戶界面(102)(300)，包括被顯示在所述圖形用戶界面(102)上的多個圖形項目(110)；在所述圖形用戶界面(102)上顯示圖形指針(120)(310)；檢測與所述用戶的眼睛相關聯的用戶眼睛注視(210)(320)；檢測與所述用戶的身體部位相關聯的位移用戶手勢(230)(330)；以及基于所述位移用戶手勢(230)和所述用戶眼睛注視(210)來控制所述圖形指針(120)在所述圖形用戶界面上的移動速率(340)。

技術領域

各種實施方案涉及一種用于控制組合式眼睛和手勢跟蹤系統的方法，并且具體地涉及一種用于控制汽車環境中的圖形用戶界面的組合式眼睛和手勢跟蹤系統的方法。

背景技術

諸如導航系統、通信裝置和媒體播放器等電子裝置的使用在汽車環境中變得越來越流行。這種裝置為用戶提供了對信息內容(諸如導航指令)、媒體內容(諸如音樂、新聞、通信服務)和用于控制車輛操作的裝置的便利訪問。

已知人機界面(HMI)包括顯示多個菜單項的圖形用戶界面。菜單項可以與圖形用戶界面的圖形菜單的條目相關，用戶可以通過使用例如圖形指針來選擇或激活所述條目。在進行所述選擇時，可以訪問或調用某些功能，例如子菜單和/或功能或應用程序和/或設置的改變等。例如，菜單項可以與以下一個或多個相關：應用程序、音頻和/或視頻軌道、系統設置、圖片、已下載項目。

通常，在顯示器上顯示多個這樣的菜單項。用戶可以通過控制圖形用戶界面上的圖形指針根據他的選擇決定來選擇和激活多個菜單項中的一個特定菜單項。為此，在一個給定時間點，多個菜單項可以至少部分地或完全地顯示在顯示器上，并且用戶可以通過使用例如機械按鈕、觸摸控制器、觸摸顯示器、獨立眼睛跟蹤或獨立手勢跟蹤系統將圖形指針移動到其中一個菜單項來從多個菜單項中選擇其中一個菜單項。

在如上所述的情況下，具體地，獨立眼睛跟蹤技術和獨立手勢跟蹤技術向用戶提供了與圖形用戶界面方便地交互的可能性。然而，這種技術面臨某些限制：眼睛或手勢跟蹤系統提供的控制選項可能不令人滿意。此外，眼睛或手勢跟蹤系統的速度和精度可能受到限制。

發明內容

因此，需要提供一種用于圖形用戶界面的組合式眼睛和手勢跟蹤的方法和系統，所述方法和系統向用戶提供改進的控制。

根據實施方案，提供了一種用于控制組合式眼睛和手勢跟蹤系統的方法，其中所述方法包括以下步驟：向用戶提供圖形用戶界面，包括被顯示在所述圖形用戶界面上的多個圖形項目；在所述圖形用戶界面上顯示圖形指針；檢測與所述用戶的眼睛相關聯的用戶眼睛注視；檢測與所述用戶的身體部位相關聯的位移用戶手勢；以及基于所述位移用戶手勢和所述用戶眼睛注視來控制所述圖形指針在所述圖形用戶界面上的移動速率。

因此，提供了一種用于控制組合式眼睛和手勢跟蹤系統的方法，所述方法在用戶的控制中可以具有提高的精度和提高的速度。例如，如果與常規的眼睛或手勢跟蹤系統相比，組合式眼睛和手勢跟蹤系統的響應速度可以提高。因此，可以向用戶提供對圖形用戶界面元素的更快和更精確訪問，這在汽車環境中通常提高了車輛操作的安全性。此外，與常規的眼睛或手勢跟蹤系統相比，車輛的設計和生產可以更容易地實現，并且成本更低，在車輛內放置屏幕的自由度更大。通過基于位移用戶手勢和用戶眼睛注視來控制圖形指針在圖形用戶界面上的移動速率，可以通過連續跟蹤位移用戶手勢方向并相應地調整圖形指針的位移方向來校正眼睛跟蹤的可能的未對準校準誤差，而無需用戶注意。具體地，在眼睛跟蹤系統的未對準校準誤差的這種情況下，用戶可以查看特定圖形項目，但是由于未對準校準誤差，眼睛跟蹤系統可能識別成他的眼睛注視與特定圖形項目不相關，但是與除特定圖形項目之外的位置相關，則用戶必須在另一方向上查看除特定圖形項目之外的位置以便校正未對準校準誤差。通過連續跟蹤位移用戶手勢方向并相應地調整圖形指針的位移方向而無需用戶注意，用戶不必查看圖形項目以選擇圖形項目。此外，通過位移用戶手勢而不是通過用戶眼睛注視，在屏幕上的平移移動中移動圖形指針可以更直觀。