[發明專利]用戶、自動化助理和其它計算服務之間的多模態交互

在審

• 申請號: 201880094239.6
• 申請日: 2018-05-07
• 公開（公告）號: CN112868060A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 烏拉什·基拉茲吉;亞當·科英布拉;亞伯拉罕·李;董偉;特胡尚·阿馬拉西里瓦德納
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/22
• 分類號: G10L15/22
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種系統，所述系統包括：

具有顯示器的至少一個客戶端計算設備，其中，所述客戶端計算設備實現自動化助理的客戶端部分；和

一個或多個服務器計算設備，所述一個或多個服務器計算設備實現所述自動化助理的服務器部分；

其中，用戶與所述客戶端部分交互以參與所述用戶、所述自動化助理和第三方計算服務之間的人機對話會話；

其中，所述第三方計算服務依照口頭對話狀態機和視覺對話狀態機與所述用戶接洽；

其中，所述自動化助理的所述客戶端部分被配置成：

通過所述自動化助理的所述服務器部分從所述第三方計算服務接收指示所述視覺對話狀態機的第一視覺對話狀態的數據，

基于所述第一視覺對話狀態在所述顯示器上渲染與所述人機對話會話相關聯的圖形用戶界面，其中，所述圖形用戶界面包括至少一個圖形元素，所述至少一個圖形元素可操作來使所述口頭狀態機從與所述第一視覺對話狀態相對應的第一口頭對話狀態轉變到第二口頭對話狀態，

檢測所述用戶對所述至少一個圖形元素的操作，并且

向所述自動化助理的所述服務器部分提供指示所述至少一個圖形元素的操作的數據；以及

其中，所述自動化助理的所述服務器部分被配置成：

將指示所述至少一個圖形元素的操作的所述數據提供給所述第三方計算服務，其中，指示所述至少一個圖形元素的操作的所述數據使所述第三方計算服務從所述第一口頭對話狀態轉變到所述第二口頭對話狀態。

2.根據權利要求1所述的系統，其中，所述自動化助理的所述服務器部分被進一步配置成：

從所述第三方計算服務接收指示所述第二口頭對話狀態的數據；并且

向所述自動化助理的所述客戶端部分提供指示所述第二口頭對話狀態的所述數據。

3.根據權利要求1所述的系統，其中，指示所述第二口頭對話狀態的所述數據包括文本或音頻數據，并且其中，所述客戶端設備被進一步配置成，響應于接收到指示所述第二口頭對話狀態的所述數據：

將所述文本轉換為語音并可聽見地渲染所述語音；或者

可聽見地渲染所述音頻數據。

4.根據任一前述權利要求所述的系統，其中，將指示所述至少一個圖形元素的操作的所述數據從所述自動化助理的所述服務器部分提供給所述第三方計算服務使所述第三方計算服務從所述第一視覺對話狀態轉變到第二視覺對話狀態。

5.根據權利要求4所述的系統，其中，所述第二視覺對話狀態對應于所述第二口頭對話狀態。

6.根據權利要求5所述的系統，其中，所述自動化助理的所述客戶端部分被進一步配置成：

通過所述自動化助理的所述服務器部分從所述第三方計算服務接收指示所述第二視覺對話狀態的數據；并且

基于所述第二視覺對話狀態在所述顯示器上渲染與所述人機對話會話相關聯的更新的圖形用戶界面。

7.根據權利要求6所述的系統，其中，指示所述第二視覺對話狀態的所述數據使所述客戶端設備自動地執行無接觸交互以渲染所述更新的圖形用戶界面。

8.根據權利要求7所述的系統，其中，所述無接觸交互包括以下各項中的一個或多個：

操作所述圖形用戶界面的可選元素；

滾動到在所述圖形用戶界面中渲染的文檔的特定位置；以及

放大所述圖形用戶界面的一部分。