[發明專利]語音控制方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010820551.8
• 申請日: 2020-08-14
• 公開（公告）號: CN111968639A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 賴永永;方彥彬
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/26
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 苑晨浩

1.一種語音控制方法，其特征在于，應用于終端設備，所述控制方法包括：

獲取語音控制命令的第一語義信息，其中，所述第一語義信息用于指示所述語音控制命令針對的控制對象；

判斷所述終端設備的當前顯示界面的布局信息是否穩定，當所述顯示界面的布局信息穩定時，獲得對所述顯示界面進行分割所得到的多個界面元素；

確定至少一個所述界面元素的目標信息，其中，所述目標信息包括所述界面元素的第二語義信息；

根據所述第一語義信息和所述至少一個界面元素的目標信息，在所述至少一個界面元素中確定控制對象，并對所述控制對象執行所述語音控制命令對應的操作。

2.根據權利要求1所述的語音控制方法，其特征在于，所述顯示界面包括至少一個控件元素；

所述獲得對所述顯示界面進行分割所得到的多個界面元素，包括：

以相鄰的所述控件元素的界限為分割線對所述顯示界面進行分割，以得到至少一個控件元素；

將每個所述控件元素作為一個界面元素。

3.根據權利要求1或2所述的語音控制方法，其特征在于，所述判斷所述終端設備的當前顯示界面的布局信息是否穩定，包括：

在預設時間內多次獲取所述顯示界面的控件信息，其中，所述控件信息至少包括以下任意一種：顯示界面內的每個所述控件元素的編號、位置、屬性；

比較多次獲取的所述控件信息，若多次獲取的所述控件信息均相同，確定所述顯示界面的布局信息穩定。

4.根據權利要求1所述的語音控制方法，其特征在于，所述確定至少一個所述界面元素的目標信息，包括：

識別所述界面元素內包含的文本內容，并根據所述文本內容確定所述界面元素的第二語義信息。

5.根據權利要求1或4所述的語音控制方法，其特征在于，所述確定至少一個所述界面元素的目標信息，包括：

對所述界面元素進行圖像識別，以得到所述界面元素對應的文字描述信息，并將所述文字描述信息作為所述界面元素對應的第二語義信息。

6.根據權利要求1所述的語音控制方法，其特征在于，所述目標信息還包括所述界面元素的位置信息；

所述根據所述第一語義信息和所述至少一個界面元素的目標信息，在所述至少一個界面元素中確定控制對象，包括：

獲取與所述第一語義信息匹配的第二語義信息對應的界面元素；

根據獲取的所述界面元素的位置信息，確定在所述顯示界面的對應位置的所述界面元素為控制對象。

7.根據權利要求1所述的語音控制方法，其特征在于，所述對所述控制對象執行所述語音控制命令對應的操作，包括：

獲取所述語音控制指令的第三語義信息，其中，所述第三語義信息用于確定所述語音控制命令的控制內容；

對所述控制對象執行所述第三語義信息對應的操作。

8.一種語音控制裝置，其特征在于，應用于終端設備，所述控制裝置包括：

第一語義模塊，用于獲取語音控制命令的第一語義信息，其中，所述第一語義信息用于指示所述語音控制命令針對的控制對象；

分割模塊，用于判斷所述終端設備的當前顯示界面的布局信息是否穩定，當所述顯示界面的布局信息穩定時，獲得對所述顯示界面進行分割所得到的多個界面元素；

第二語義模塊，用于確定至少一個所述界面元素的目標信息，其中，所述目標信息包括所述界面元素的第二語義信息；

確定模塊，用于根據所述第一語義信息和所述至少一個界面元素的目標信息，在所述至少一個界面元素中確定控制對象，并對所述控制對象執行所述語音控制命令對應的操作。

9.根據權利要求8所述的語音控制裝置，其特征在于，所述顯示界面包括至少一個控件元素；

所述分割模塊具體用于：

以相鄰的所述控件元素的界限為分割線對所述顯示界面進行分割，以得到至少一個控件元素；

將每個所述控件元素作為一個界面元素。