[發明專利]利用計算設備的意圖檢測

在審

• 申請號: 202010598657.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111736702A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 阿乍納·卡納安;羅扎·霍伊納茨卡;賈米森·克恩斯;羅曦楊;梅爾特姆·厄克泰姆;納達·伊拉薩爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62;G06N3/04;G06N20/20
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種方法，包括：

捕獲圖像；

確定用戶正在操作計算設備的環境；

基于所述圖像中的對象來檢測手勢；

使用機器學習模型，基于所述手勢和所述環境來確定用戶的意圖；以及

至少基于所確定的意圖來執行任務。

2.如權利要求1所述的方法，其中，確定所述用戶的意圖進一步包括：

轉化所述用戶與現實世界的交互，以及

使用所述交互和所述手勢來確定所述用戶的意圖。

3.如權利要求1所述的方法，其中，所述機器學習模型是基于計算機視覺模型的。

4.如權利要求1至3中的任一項所述的方法，其中，

第一機器學習模型和第二機器學習模型被用于確定所述用戶的意圖，所述方法進一步包括：

使用所述第二機器學習模型對與所述手勢相關聯的手的連續跟蹤。

5.如權利要求1至3中的任一項所述的方法，其中，所述圖像是使用計算設備的單個非深度感測相機來捕獲的。

6.如權利要求1至3中的任一項所述的方法，其中，所述任務是基于計算機助理的使用。

7.如權利要求1至3中的任一項所述的方法，其中，所述任務包括視覺輸出和可聽輸出中的至少一個。

8.如權利要求1至3中的任一項所述的方法，其中，

所述機器學習模型使用包括至少一個手勢的多個圖像來訓練，

所述機器學習模型使用手勢的多個地面真值圖像來訓練，

損失函數被用于確認手勢與手勢的地面真值圖像之間的匹配，以及

基于所述圖像中的對象的對所述手勢的檢測包括將所述對象與和所述手勢的地面真值圖像匹配的所述手勢進行匹配。

9.如權利要求1至3中的任一項所述的方法，其中，

所述機器學習模型使用多個圖像來訓練，所述多個圖像每一個均包含至少一個對象，以及

所述至少一個對象具有相關聯的地面真值框。

10.如權利要求1至3中的任一項所述的方法，其中，

所述機器學習模型生成多個邊界框，

所述機器學習模型基于邊界框內的對象的至少部分來確定多個特征，

所述機器學習模型基于所述多個特征來識別所述對象，以及

所述用戶的意圖基于所識別的對象來確定。

11.一種包含指令的非暫時性計算機可讀存儲介質，所述指令當被計算機系統的處理器執行時，使得所述處理器執行如權利要求1至10中的任一項所述的方法。

12.一種用于壓縮圖像的計算機系統，所述計算機系統被配置為執行如權利要求1至10中的任一項所述的方法。

13.一種系統，包括：

存儲指令集合的存儲器；以及

處理器，所述處理器被配置為執行所述指令集合以使所述系統：

捕獲圖像；

確定用戶正在操作計算設備的環境；

基于所述圖像中的對象來檢測手勢；

使用機器學習模型，基于所述手勢和所述環境來確定所述用戶的意圖；以及

至少基于所確定的意圖來執行任務。

14.如權利要求13所述的系統，其中，確定所述用戶的意圖進一步包括：

轉化所述用戶與現實世界的交互，以及

使用所述交互和所述手勢來確定所述用戶的意圖。

15.如權利要求13所述的系統，其中，所述機器學習模型是基于計算機視覺模型的。