[發明專利]通過語音控制應用的方法、裝置、電子設備與存儲介質

有效

• 申請號: 202011596720.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112286485B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 熊文龍;賀永強
• 申請（專利權）人: 智道網聯科技（北京）有限公司
• 主分類號: G06F3/16
• 分類號: G06F3/16;G06F40/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明實施例提供一種通過語音控制應用的方法、裝置、電子設備與存儲介質；方法包括：接收用戶發出的語音指令，根據所述語音指令以及目標應用，確定搜索關鍵詞；將所述搜索關鍵詞發送給云端服務器，以使得所述云端服務器根據所述搜索關鍵詞從預先設置的目標應用的控件識別信息集合中確定目標控件的識別信息；接收所述目標控件的識別信息，根據所述目標控件的識別信息以及預先設置的候選控件信息集合，判斷所述候選控件信息集合中是否包含所述目標控件的位置信息；當所述候選控件信息集合中包含所述目標控件的位置信息時，根據所述目標控件的位置信息生成模擬點擊行為。

技術領域

本發明涉及語音控制技術領域，尤其涉及一種通過語音控制應用的方法、裝置、電子設備與存儲介質。

背景技術

應用（APP）是在智能移動終端上運行的、能夠完成特定功能的軟件。傳統上的應用一般需要用戶的手動操作來實現對應用的控制，如通過點擊觸摸屏來操控應用的按鈕。

但在一些應用場合中，通過手動操作來控制應用會存在一定的不便。如用戶在開車時，通過手動操作來控制導航軟件，特別是輸入文字等較為復雜的手動操作，容易分散用戶精力，帶來安全隱患。因此希望通過語音的方式來操作應用。

現有的一些應用，如高德地圖，通過內部集成用于語音操作的SDK的方式來實現對應用的語音操作。但對于目前的多數應用，并未事先集成用于語音操作的SDK，這就使得這些應用無法通過語音來控制，限制了這些應用的使用場景。

發明內容

針對現有技術存在的問題，本發明實施例提供一種通過語音控制應用的方法、裝置、電子設備與存儲介質。

本發明第一方面實施例提供一種語音控制應用的方法，應用于電子設備，方法包括：

接收用戶發出的語音指令，根據所述語音指令以及目標應用，確定搜索關鍵詞；其中，所述目標應用為當前時刻運行在電子設備最前端的應用；

將所述搜索關鍵詞發送給云端服務器，以使得所述云端服務器根據所述搜索關鍵詞從預先設置的目標應用的控件識別信息集合中確定目標控件的識別信息，所述目標控件為根據所述語音指令所確定的控件；

接收所述目標控件的識別信息，根據所述目標控件的識別信息以及預先設置的候選控件信息集合，判斷所述候選控件信息集合中是否包含所述目標控件的位置信息；其中，所述候選控件信息包括候選控件的識別信息與位置信息，所述候選控件為所述目標應用在當前時刻的界面所包含的控件；

當所述候選控件信息集合中包含所述目標控件的位置信息時，根據所述目標控件的位置信息生成模擬點擊行為。

根據本發明提供的一種通過語音控制應用的方法，所述根據所述語音指令以及目標應用，確定搜索關鍵詞，包括：

對所述語音指令進行語義識別，得到所述語音指令的意圖文本；

獲取所述目標應用的標識；

根據所述語音指令的意圖文本以及所述目標應用的標識，確定搜索關鍵詞。

根據本發明提供的一種通過語音控制應用的方法，所述識別信息包括文本信息、標識信息以及類型信息；

相應的，所述根據所述目標控件的識別信息以及預先設置的候選控件信息集合，判斷所述候選控件信息集合中是否包含所述目標控件的位置信息，包括：

步驟S1、將所述目標控件的文本信息與所述候選控件信息集合中各個候選控件的文本信息進行逐一比對，若比對成功，執行步驟S4；若比對全部失敗，將所述目標控件的標識信息與所述候選控件信息集合中各個候選控件的標識信息進行逐一比對，若比對成功，執行步驟S4；若比對全部失敗，將所述目標控件的類型信息與所述候選控件信息集合中各個候選控件的類型信息進行逐一比對，若比對成功，執行步驟S4；若比對全部失敗，執行步驟S2；