[發(fā)明專利]提供用于控制連接設(shè)備的復(fù)合圖形助理界面的方法、系統(tǒng)和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201880094286.0
• 申請(qǐng)日: 2018-05-07
• 公開（公告）號(hào): CN112997143A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 大衛(wèi)·羅伊·沙伊雷爾;特里奧娜·巴特勒;辛迪·特蘭;馬克·斯帕特斯四世;林迪;倪宇釗;麗薩·威廉姆斯
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06F3/16
• 分類號(hào): G06F3/16;G06F3/0488;G06F3/0484;G10L15/22;H04L12/58
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

提供了用于定制用于與多個(gè)不同連接設(shè)備交互的復(fù)合圖形助理界面的方法、裝置、系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)。能夠響應(yīng)于用戶提供對(duì)自動(dòng)化助理使連接設(shè)備執(zhí)行特定功能的請(qǐng)求而生成復(fù)合圖形助理界面。響應(yīng)于自動(dòng)化助理接收到請(qǐng)求，自動(dòng)化助理能夠識(shí)別連接設(shè)備能夠執(zhí)行的其它功能。然后能夠?qū)⑵渌δ苡成涞礁鞣N圖形控制元素，以便提供用戶能夠與連接設(shè)備交互的復(fù)合圖形助理界面。能夠根據(jù)連接設(shè)備的狀況來(lái)布置每個(gè)圖形控制元素，以便反映連接設(shè)備如何與復(fù)合圖形助理界面的呈現(xiàn)同時(shí)操作。

背景技術(shù)

人類可以參與與在本文中稱為“自動(dòng)化助理”(也稱為“數(shù)字代理”、“聊天機(jī)器人”、“交互式個(gè)人助理”、“智能個(gè)人助理”、“助理應(yīng)用”、“談話代理”等)的交互式軟件應(yīng)用的人機(jī)對(duì)話。例如，人類(其在他們與自動(dòng)化助理交互時(shí)可以被稱為“用戶”)可以使用在一些情況下可以被轉(zhuǎn)換成文本然后被處理的口頭自然語(yǔ)言輸入(即話語(yǔ))和/或通過(guò)提供文本(例如，鍵入的)自然語(yǔ)言輸入來(lái)向自動(dòng)化助理提供命令和/或請(qǐng)求。

能夠使用一些自動(dòng)化助理來(lái)控制物聯(lián)網(wǎng)(“IoT”)設(shè)備。然而，許多IoT設(shè)備能夠帶有它們自己的對(duì)應(yīng)應(yīng)用。結(jié)果，已獲取了多個(gè)不同的IoT設(shè)備的用戶可能被指派有在其個(gè)人計(jì)算設(shè)備上安裝各種第三方應(yīng)用的任務(wù)。因?yàn)閼?yīng)用可能通常需要存儲(chǔ)器、網(wǎng)絡(luò)帶寬、更新和/或其它資源，所以在單個(gè)設(shè)備上具有各種類似的應(yīng)用可能是效率低的。盡管用戶可以依靠自動(dòng)化助理來(lái)調(diào)解用戶與特定IoT設(shè)備之間的交互，但是此類交互可能頻繁地需要將來(lái)自用戶的口頭話語(yǔ)從音頻轉(zhuǎn)換為文本。為了實(shí)行音頻到文本的轉(zhuǎn)換，時(shí)常必須通過(guò)網(wǎng)絡(luò)來(lái)發(fā)送音頻數(shù)據(jù)，從而消耗顯著網(wǎng)絡(luò)帶寬。此外，當(dāng)用戶被正在說(shuō)話的其它人們包圍或者另外在具有背景噪聲的環(huán)境中時(shí)，以這樣的方式調(diào)解交互可能證明是不可靠的。結(jié)果，當(dāng)最終未識(shí)別或以其它方式未履行對(duì)IoT設(shè)備執(zhí)行特定功能的請(qǐng)求時(shí)，用戶與自動(dòng)化助理之間的對(duì)話會(huì)話可能浪費(fèi)計(jì)算資源和網(wǎng)絡(luò)資源。

發(fā)明內(nèi)容

本公開通常涉及用于提供用來(lái)控制多個(gè)不同的設(shè)備的復(fù)合圖形助理界面的方法、裝置和計(jì)算機(jī)可讀介質(zhì)(暫時(shí)性和非暫時(shí)性)。隨著諸如燈泡和其它器具的常見設(shè)備的網(wǎng)絡(luò)連接變得更普遍，通過(guò)網(wǎng)絡(luò)與此類設(shè)備對(duì)接的方式可能增加。這可能是部分地由于制造類似設(shè)備的制造商數(shù)目增加而導(dǎo)致的。例如，可能有數(shù)十個(gè)智能燈泡制造商，并且大多數(shù)燈泡制造商可以提供從中控制其相應(yīng)的燈泡的應(yīng)用或界面。結(jié)果，安裝來(lái)自不同的制造商的燈泡的用戶可以將不同的應(yīng)用下載到其個(gè)人計(jì)算設(shè)備以用于控制燈泡。這可能浪費(fèi)存儲(chǔ)器，因?yàn)榘惭b多個(gè)應(yīng)用可能占用大量設(shè)備存儲(chǔ)器，并且還可能浪費(fèi)網(wǎng)絡(luò)帶寬，因?yàn)樵谠O(shè)備上具有多個(gè)應(yīng)用可以使設(shè)備檢查更新，共享數(shù)據(jù)，并且/或者為相應(yīng)的制造商推送通知。為了克服這些和/或其它限制，本文描述的一些實(shí)現(xiàn)方式提供用于自動(dòng)化助理生成用于控制各種設(shè)備的復(fù)合圖形助理界面的各種技術(shù)，而不管設(shè)備是由不同的第三方提供的。

復(fù)合圖形助理界面可以是由一個(gè)或多個(gè)圖形元素編譯以便實(shí)行對(duì)一個(gè)或多個(gè)設(shè)備的控制的界面。復(fù)合圖形助理界面能夠由自動(dòng)化助理采用，該自動(dòng)化助理能夠作為用戶與任何連接設(shè)備之間的中介。例如，用戶能夠提供諸如“Assistant,turn on my kitchenlights(助理，打開我的廚房燈)”的口頭話語(yǔ)。能夠在能夠包括一個(gè)或多個(gè)麥克風(fēng)和顯示面板的客戶端設(shè)備處接收口頭話語(yǔ)，并且作為響應(yīng)，自動(dòng)化助理能夠使用戶家的廚房中的任何燈打開。此外，自動(dòng)化助理能夠識(shí)別用戶已請(qǐng)求自動(dòng)化助理控制的“物聯(lián)網(wǎng)”(IoT)設(shè)備的類型，并且識(shí)別與IoT設(shè)備的類型相關(guān)聯(lián)的一個(gè)或多個(gè)控制參數(shù)。控制參數(shù)能夠?qū)?yīng)于槽值，這些槽值能夠被供應(yīng)給IoT設(shè)備以用于修改IoT設(shè)備的狀態(tài)，因此能夠通過(guò)分析用于IoT設(shè)備的可接受槽值來(lái)識(shí)別控制參數(shù)。例如，諸如智能燈泡的IoT設(shè)備能夠接收可以諸如能夠與燈泡的光照狀態(tài)相對(duì)應(yīng)的“打開”和“關(guān)閉”的槽值，和/或諸如能夠與燈泡的顏色狀態(tài)相對(duì)應(yīng)的“紅色”、“綠色”和“藍(lán)色”的顏色值。此外，IoT設(shè)備能夠接收諸如能夠與燈泡的亮度狀態(tài)相對(duì)應(yīng)的介于0與100之間的任何數(shù)字的槽值。當(dāng)自動(dòng)化助理已識(shí)別IoT設(shè)備的所有可能的槽值和/或所得狀態(tài)時(shí)，自動(dòng)化助理能夠識(shí)別用來(lái)編譯復(fù)合圖形助理界面的合適的圖形控制元素。