[發明專利]利用計算設備的意圖檢測

在審

• 申請號: 202010598657.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111736702A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 阿乍納·卡納安;羅扎·霍伊納茨卡;賈米森·克恩斯;羅曦楊;梅爾特姆·厄克泰姆;納達·伊拉薩爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62;G06N3/04;G06N20/20
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

本公開涉及利用計算設備的意圖檢測。一種方法可以利用包括以下的方法來執行過程：捕獲圖像；確定用戶正在操作計算設備的環境；基于圖像中的對象來檢測手勢；使用機器學習模型，基于手勢和環境來確定用戶的意圖；以及至少基于所確定的意圖來執行任務。

技術領域

實施例涉及基于由計算設備的相機捕獲的對象(例如，手、書、待售物品等)的存在來檢測計算設備的用戶的打算。

背景技術

計算中的指向設備(pointing device)被用于控制或激活用戶接口中的某些元素。在計算機上，這可以通過使用單獨的控制器來實現，該控制器例如是可以在平坦的表面上移動的鼠標，并且鼠標的移動被轉化為計算機屏幕上的指針/光標。另外，鼠標可能具有用以點擊和滾動的按鈕，這些按鈕可以啟用各種類型的任務，例如，打開應用、選擇應用、向下滾動等。但是，隨著智能手機、平板電腦等的發展，觸摸屏被廣泛使用并且手指例如可以代替物理控制器。例如輕擊、滾動、輕掃、捏和長按的用戶動作已成為與智能手機、平板電腦等交互的常見模式。

發明內容

在一般方面中，設備、系統、非暫時性計算機可讀介質(具有存儲在其上的可以在計算機系統上執行的計算機可執行程序代碼)和/或方法可以通過包括以下的方法執行處理：捕獲圖像；確定用戶正在操作計算設備的環境；基于圖像中的對象來檢測手勢；使用機器學習模型，基于所述手勢和所述環境來確定用戶的意圖；以及至少基于所確定的意圖來執行任務。

該系統可以包括存儲指令集合的存儲器；以及處理器，該處理器被配置為執行所述指令集合以使所述系統捕獲圖像；確定用戶正在操作計算設備的環境；基于所述圖像中的對象來檢測手勢；使用機器學習模型，基于所述手勢和所述環境來確定用戶的意圖；以及至少基于所確定的意圖來執行任務。

實現可以包括以下特征中的一個或多個。例如，確定所述用戶的意圖可以進一步包括轉化所述用戶與現實世界的交互，以及使用該交互和該手勢來確定所述用戶的意圖。機器學習模型可以是基于計算機視覺模型。可以使用第一機器學習模型和第二機器學習模型來確定用戶的意圖。該方法可以進一步包括使用第二機器學習模型的對與手勢相關聯的手的連續跟蹤。可以使用計算設備的單個非深度感測相機捕獲圖像。該任務可以是基于計算機助理的使用。該任務可以包括視覺和可聽輸出中的至少一個。可以使用包括至少一個手勢的多個圖像來訓練機器學習模型，使用手勢的多個地面真值(ground-truth)圖像來訓練機器學習模型，使用損失函數來確認手勢與手勢的地面真值圖像之間的匹配，并且基于圖像中的對象的對手勢的檢測包括將該對象與和該手勢的地面真值圖像匹配的該手勢進行匹配。可以使用多個圖像來訓練機器學習模型，所述多個圖像每一個都包括至少一個對象，并且至少一個對象可以具有相關聯的地面真值框。機器學習模型可以生成多個邊界框，機器學習模型可以基于邊界框內的對象的至少部分來確定多個特征，機器學習模型可以基于多個特征來識別對象，并且可以基于所識別的對象來確定用戶的意圖。

附圖說明

從下文給出的詳細描述和附圖，將更全面地理解示例性實施例，其中，相似的元件由相似的附圖標記表示，其僅以示例的方式給出，因此不限制示例性實施例，并且其中：

圖1示出了根據至少一個示例性實施方式的用于檢測用戶的意圖并且基于該意圖來執行任務的方法的流程圖。

圖2示出了根據至少一個示例性實施方式的用于檢測手勢的觸發器。

圖3示出了根據至少一個示例性實施方式的基于歧義消除來確定意圖。

圖4示出了根據至少一個示例性實施方式的指向姿勢。

圖5示出了根據至少一個示例性實施方式的信號流的框圖。

圖6示出了方法的流程圖。

圖7示出了姿勢處理系統的框圖。

圖8A示出了不具有稀疏約束的卷積神經網絡中的層。