[發明專利]一種語音控制方法、裝置、設備以及計算機存儲介質

在審

• 申請號: 202111398660.6
• 申請日: 2021-11-19
• 公開（公告）號: CN114067797A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 陳明;冉茂松;張曉帆
• 申請（專利權）人: 杭州逗酷軟件科技有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/26;G06F9/445;G06F9/451
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 鐘文聰;張穎玲

1.一種語音控制方法，其特征在于，所述方法包括：

接收用戶輸入的語音數據；

根據當前的圖形界面，確定至少一個圖像控件；

對所述至少一個圖像控件進行圖像內容理解，得到所述至少一個圖像控件對應的圖像描述文本信息；

根據所述語音數據與所述至少一個圖像控件對應的圖像描述文本信息進行圖像控件識別，在所述至少一個圖像控件中確定目標圖像控件；

根據所述語音數據確定操作指令，向所述目標圖像控件發送所述操作指令，以實現對所述目標圖像控件的語音控制。

2.根據權利要求1所述的方法，其特征在于，所述根據當前的圖形界面，確定至少一個圖像控件，包括：

確定當前的圖形界面對應的圖形界面元素信息；

根據所述圖形界面元素信息，確定所述至少一個圖像控件。

3.根據權利要求2所述的方法，其特征在于，所述確定當前的圖形界面對應的圖形界面元素信息，包括：

調用系統底層代碼信息，獲取所述圖形界面元素信息；或者，

調用系統輔助服務功能接口，獲取所述圖形界面元素信息。

4.根據權利要求2所述的方法，其特征在于，所述根據所述圖形界面元素信息，確定所述至少一個圖像控件，包括：

從所述圖形界面元素信息中查詢類屬性后綴為預設類型的控件，組成候選控件集合；

對所述候選控件集合中的控件進行尺寸篩選，得到所述至少一個圖像控件。

5.根據權利要求4所述的方法，其特征在于，所述預設類型包括下述至少之一：ImageView、FrameLayout、LinearLayout、RelativeLayout和View。

6.根據權利要求4所述的方法，其特征在于，所述對所述候選控件集合中的控件進行尺寸篩選，得到所述至少一個圖像控件，包括：

在所述候選控件集合中，判斷所述控件的長度和寬度是否滿足預設尺寸條件，將長度和寬度滿足所述預設尺寸條件的所述控件確定為所述圖像控件。

7.根據權利要求1所述的方法，其特征在于，所述根據當前的圖形界面，確定至少一個圖像控件，包括：

對當前的圖形界面進行截圖，得到待識別圖像；

對所述待識別圖像進行控件檢測，將檢測得到的若干個控件組成候選控件集合；

對所述候選控件集合中的控件進行尺寸篩選，得到所述至少一個圖像控件。

8.根據權利要求1至7任一項所述的方法，其特征在于，所述根據所述語音數據與所述至少一個圖像控件對應的圖像描述文本信息進行圖像控件識別，在所述至少一個圖像控件中確定目標圖像控件，包括：

對所述語音數據進行文本轉換，得到語音文本信息；

將所述語音文本信息與所述至少一個圖像控件對應的圖像描述文本信息進行語義匹配，確定所述至少一個圖像控件對應的語義相似度值；

根據所述語義相似度值，確定所述目標圖像控件。

9.根據權利要求8所述的方法，其特征在于，所述根據所述語義相似度值，確定所述目標圖像控件，包括：

確定所述語義相似度值中的最大相似度值對應的圖像控件為所述目標圖像控件。

10.根據權利要求1所述的方法，其特征在于，在所述接收用戶輸入的語音數據之后，所述方法還包括：

對當前的圖形界面進行截圖，得到待識別圖像；

對所述語音數據進行文本轉換，得到語音文本信息；

根據所述語音文本信息對所述待識別圖像進行目標檢測，確定目標圖像控件；

根據所述語音數據確定操作指令，向所述目標圖像控件發送所述操作指令，以實現對所述目標圖像控件的語音控制。