[發明專利]一種應用操作方法以及裝置

有效

• 申請號: 201810191591.3
• 申請日: 2018-03-08
• 公開（公告）號: CN108470566B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 謝建平;羅俊;霍然;陳召
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/30;G06F40/35
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種應用操作方法，其特征在于，包括：

在輔助應用界面顯示虛擬角色，并獲取針對所述虛擬角色的用戶語音數據；

獲取所述用戶語音數據對應的意圖識別結果；

若所述意圖識別結果為應用操作意圖結果，則根據所述應用操作意圖結果確定目標應用；

根據所述應用操作意圖結果對應的意圖行為信息和所述目標應用的應用信息，生成與所述目標應用對應的目標操作指令信息集；

基于所述輔助應用調用所述目標操作指令信息集中的目標操作指令，并基于所述輔助應用將所述目標操作指令轉發到系統輔助功能服務；所述目標操作指令是所述目標操作指令信息集中排序在第一個的未執行操作指令；

基于所述系統輔助功能服務對所述目標應用進行與所述目標操作指令對應的模擬操作，并顯示模擬操作后所生成的頁面內容；

若所述目標應用響應已執行完所述目標操作指令，則基于所述輔助應用調用所述目標操作指令信息集中的下一個目標操作指令，直至執行完所述目標操作指令信息集中的所有操作指令，以完成對所述目標應用執行所述用戶語音數據所指示的操作。

2.如權利要求1所述的方法，其特征在于，所述根據所述應用操作意圖結果對應的意圖行為信息和所述目標應用的應用信息，生成與所述目標應用對應的目標操作指令信息集，包括：

將所述應用操作意圖結果對應的意圖行為信息和所述目標應用的應用信息添加到操作分析請求，并發送所述操作分析請求到業務服務器，以使所述業務服務器根據所述操作分析請求生成總操作指令信息集；

獲取所述業務服務器返回的所述總操作指令信息集；

根據所述目標應用的狀態信息，對所述總操作指令信息集進行操作指令過濾，得到目標操作指令信息集；所述目標操作指令信息集包括多個按序待執行的操作指令，且所述目標操作指令信息集中的第一個操作指令與所述目標應用的狀態信息相關聯。

3.如權利要求1所述的方法，其特征在于，所述根據所述應用操作意圖結果對應的意圖行為信息和所述目標應用的應用信息，生成與所述目標應用對應的目標操作指令信息集，包括：

根據所述目標應用的應用信息確定所述目標應用對應的業務流程信息；

根據所述業務流程信息、所述應用操作意圖結果對應的意圖行為信息以及所述目標應用的狀態信息，生成目標操作指令信息集；所述目標操作指令信息集包括多個按序待執行的操作指令，且所述目標操作指令信息集中的第一個操作指令與所述目標應用的狀態信息相關聯。

4.如權利要求1所述的方法，其特征在于，所述基于所述系統輔助功能服務對所述目標應用進行與所述目標操作指令對應的模擬操作，包括：

基于所述系統輔助功能服務確定與所述目標應用以及所述目標操作指令相關聯的應用顯示頁面，并獲取所述應用顯示頁面對應的頁面樹形結構；所述頁面樹形結構包括所述應用顯示頁面中的所有控件的節點信息；

根據所述頁面樹形結構中所有控件的節點信息，定位所述目標操作指令對應的控件，作為目標控件；

根據所述目標操作指令對所述目標控件進行模擬操作。

5.如權利要求1所述的方法，其特征在于，所述根據所述應用操作意圖結果確定目標應用，包括：

確定與所述應用操作意圖結果中的所述意圖行為信息相關聯的所有應用，并在所確定的所有應用中選擇本地終端已安裝的應用；

根據每個已安裝的應用的優先級，從所有已安裝的應用中確定目標應用。

6.如權利要求1所述的方法，其特征在于，還包括：

若所述意圖識別結果為閑聊意圖結果，則在閑聊語料庫中獲取與所述用戶語音數據相匹配的反饋多媒體信息，并觸發所述虛擬角色在所述輔助應用界面展示所述反饋多媒體信息。