[發明專利]識別和控制智能設備

在審

• 申請號: 202210264622.X
• 申請日: 2019-06-14
• 公開（公告）號: CN114666650A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: I.巴德爾;G.H.巴基爾;R.P.克爾;N.格里姆斯莫
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N21/436
• 分類號: H04N21/436;H04M1/72415;G06V20/20;G06F1/16;G06F3/01;G06F3/03;G06F3/04847;G06F3/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

描述了用于控制智能設備的方法、系統和裝置。在一個方面，一種方法包括：接收由用戶的移動設備的相機捕獲的圖像的圖像數據，并確定該圖像描繪了智能設備或該智能設備的物理控件中的至少一個。響應于確定該圖像描繪了智能設備或該智能設備的物理控件，識別用于控制智能設備的一個或多個用戶界面控件，并在移動設備的顯示器上生成并呈現用于控制智能設備的一個或多個用戶界面控件。該方法還可以包括在移動設備的顯示器處檢測與一個或多個用戶界面控件中的至少一個的用戶交互，以及基于檢測的用戶交互來控制智能設備。

本申請是申請日為2019年06月14日、申請號為201980036735.0的發明專利申請的分案申請。

背景技術

許多移動設備(諸如智能手機)都配備了用于捕獲畫面和數字圖像的相機。移動設備還提供對各種信息的訪問。可以在在移動設備上運行的Web瀏覽器或本機應用中查看此信息。用戶還可以使用圖像來獲得與圖像中描繪的對象或位置有關的另外信息。

虛擬助手是為用戶執行任務或服務的應用。虛擬助手可以集成在語音助手設備(例如，智能揚聲器或其他語音控制設備)中。一些虛擬助手還充當控制其他智能設備的智能設備，諸如家庭自動化設備。例如，用戶可以通過向被配置為控制燈的語音助手設備提供語音命令來控制燈的操作。

發明內容

本說明書描述了與識別智能設備以及呈現用于控制所識別的智能設備的一個或多個用戶界面控件有關的技術。

通常，本說明書中描述的主題的一個創新方面可以體現為以下方法：所述方法包括：接收由用戶的移動設備的相機捕獲的圖像的圖像數據；基于圖像數據，確定圖像描繪了智能設備或智能設備的物理控件中的至少一個；響應于確定圖像描繪了智能設備或智能設備的物理控件中的至少一個，識別用于控制智能設備的一個或多個用戶界面控件；在移動設備的顯示器上生成并呈現用于控制智能設備的一個或多個用戶界面控件；在移動設備的顯示器上檢測與一個或多個用戶界面控件中的至少一個的用戶交互；以及基于檢測的用戶交互來控制智能設備。該方面的其他實現方式包括被配置為執行在計算機存儲設備上編碼的方法的動作的對應裝置、方法、系統和計算機程序。

這些和其他實現方式可各自可選地包括以下特征中的一個或多個。在一些方面，控制智能設備包括：將數據發送到可操作地連接到智能設備的虛擬助手控制設備，所述數據使虛擬助手控制設備向智能設備發送與檢測的用戶交互相對應的操作以執行操作。

在一些方面，基于圖像數據確定圖像描繪了智能設備或智能設備的物理控件中的至少一個包括：確定圖像描繪了被配置為控制其他智能設備的虛擬助手控制設備。在一些方面，所述方法還可以包括：確定在移動設備呈現圖像時移動設備能夠控制虛擬助手控制設備。在一些方面，在移動設備呈現圖像時確定移動設備能夠控制虛擬助手控制設備包括：通過確定在用戶設備呈現圖像時移動設備在向用戶賬戶注冊的特定虛擬助手控制設備的閾值距離內確定虛擬助手控制設備是向用戶賬戶注冊的特定虛擬助手控制設備。在一些方面，響應于確定在移動設備呈現圖像時確定移動設備能夠控制虛擬助手控制設備，確定呈現用于控制智能設備的一個或多個用戶界面控件。

在一些方面，基于圖像數據確定圖像描繪了智能設備或智能設備的物理控件中的至少一個包括：確定圖像描繪了用戶的虛擬助手控制設備的圖像。在一些方面，虛擬助手控制設備包括虛擬助手智能揚聲器設備，從用戶接收語音命令并且使用虛擬助手智能揚聲器設備的揚聲器向用戶提供信息。在一些方面，識別用于控制智能設備的一個或多個用戶界面控件包括：確定虛擬助手智能揚聲器設備當前正在執行的任務或服務；以及選擇用于控制任務或服務的一個或多個用戶界面控件。

在一些方面，在移動設備生成并呈現用于控制智能設備的一個或多個用戶界面控件包括：將一個或多個用戶界面控件以增強現實方式疊加在移動設備的相機的取景器的視場上。

在一些方面，響應于確定圖像描繪了智能設備或智能設備的物理控件中的至少一個，識別用于控制智能設備的一個或多個用戶界面控件包括：獲得智能設備的注冊文件，其中，注冊文件包括指定智能設備的類型的數據，以及用于控制智能設備的可用用戶界面控件。