[發明專利]語音控制方法、裝置、電子設備以及存儲介質

有效

• 申請號: 202111363115.3
• 申請日: 2021-11-17
• 公開（公告）號: CN113923295B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳明;張曉帆
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: H04M1/72433
• 分類號: H04M1/72433;H04M1/72469;G06F9/451
• 代理公司: 深圳市智圈知識產權代理事務所(普通合伙) 44351
• 代理人: 呂靜

1.一種語音控制方法，其特征在于，所述方法包括：

顯示圖形界面；

響應語音交互指令，獲取所述圖形界面對應的圖形界面截圖；

對所述圖形界面截圖進行處理，獲得所述圖形界面中包括的多個目標元素；

當通過所述多個目標元素組成多個滿足預設排列規則的元素集合時，按對應的集合尺寸從大到小的順序從多個元素集合中篩選出目標元素集合，其中，所述目標元素集合由所述多個目標元素中的至少兩個目標元素組成；

對所述至少兩個目標元素進行索引編號，獲得所述至少兩個目標元素各自對應的目標索引編號；

基于所述至少兩個目標元素各自對應的目標索引編號，從所述至少兩個目標元素中確定所述語音交互指令對應的目標元素。

2.根據權利要求1所述的方法，其特征在于，所述對所述圖形界面截圖進行處理，獲得所述圖形界面中包括的多個目標元素，包括：

對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的多個元素；

對所述多個元素進行去重，獲得所述圖形界面中包括的多個目標元素。

3.根據權利要求2所述的方法，其特征在于，所述對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的多個元素，包括：

通過第一方式對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的多個第一元素，其中，所述多個第一元素在所述圖形界面中顯示，所述第一方式為采用圖像識別技術；

通過第二方式對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的多個第二元素，其中，所述多個第二元素在所述圖形界面中隱藏，所述第二方式為基于元素檢測模型；

所述對所述多個元素進行去重，獲得所述圖形界面中包括的多個目標元素，包括：

對所述多個第一元素和所述多個第二元素進行去重處理，獲得所述圖形界面中包括的多個目標元素。

4.根據權利要求3所述的方法，其特征在于，所述對所述多個第一元素和所述多個第二元素進行去重處理，獲得所述圖形界面中包括的多個目標元素，包括：

獲取所述多個第一元素和所述多個第二元素中，重疊的元素之間的重疊區域比例；

當所述重疊區域比例大于或等于比例閾值時，從所述重疊的元素中保留尺寸最大的元素；

當所述重疊區域比例小于所述比例閾值時，保留所述重疊的元素。

5.根據權利要求3所述的方法，其特征在于，所述通過第二方式對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的多個第二元素，其中，所述多個第二元素在所述圖形界面中隱藏，包括：

基于元素檢測模型對所述圖形界面截圖進行檢測，獲取所述圖形界面中包括的所述多個第二元素，其中，所述元素檢測模型基于對圖形界面的布局規則進行學習獲得。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述對所述至少兩個目標元素進行索引編號，獲得所述至少兩個目標元素各自對應的目標索引編號，包括：

獲取所述目標元素集合對應的元素尺寸在所述圖形界面的占比；

當所述占比大于或等于占比閾值時，獲得所述至少兩個目標元素各自對應的目標索引編號。

7.根據權利要求6所述的方法，其特征在于，在所述當所述占比大于或等于占比閾值時，獲得所述至少兩個目標元素各自對應的目標索引編號之前，還包括：

對所述語音交互指令進行解析，獲得所述語音交互指令所包含的語音信息；

基于所述語音信息，確定所述占比閾值。

8.根據權利要求7所述的方法，其特征在于，所述基于所述語音信息，確定所述占比閾值，包括：

當所述語音信息同時包括文本描述和索引編號時，確定所述占比閾值為第一占比閾值，所述圖形界面包括至少兩個部分，所述至少兩個部分中的每個部分包括關鍵詞和多個目標元素，所述關鍵詞與所述文本描述關聯；或者

當所述語音信息只包括索引編號時，確定所述占比閾值為第二占比閾值，其中，所述第一占比閾值小于所述第二占比閾值。