[發明專利]界面控制方法、裝置、智能終端及計算機可讀存儲介質

有效

• 申請號: 201811150626.5
• 申請日: 2018-09-29
• 公開（公告）號: CN110968375B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 孫向作
• 申請（專利權）人: TCL科技集團股份有限公司
• 主分類號: G06F3/16
• 分類號: G06F3/16;G06F3/0481;G06F3/0484;G06F3/0488;G06V20/62;G06V10/26;G06F9/451;G10L15/22
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李艷麗

1.一種界面控制方法，其特征在于，包括：

當接收到控制語音時，對當前界面執行截屏操作，得到待識別界面圖像；

根據預先建立的控件數據庫，劃分所述待識別界面圖像得到每個控件的控件子圖像；

遍歷所有所述控件子圖像，得到各個所述控件子圖像內的控件文字信息，所述控件子圖像內包含文字信息；

將所述控制語音對應的文字信息與各所述控件的控件文字信息進行匹配，判斷是否一致；

當所述控制語音對應的文字信息與目標控件的控件文字信息一致，根據所述控件數據庫，向所述目標控件發送模擬按鍵控制指令，以對所述目標控件進行模擬控制；

其中，所述方法還包括：

通過監聽器實時監聽智能終端是否有新應用安裝操作或者應用卸載操作；

當監聽到有新應用安裝操作，在新應用安裝過程中調用應用程序管理服務對所述新應用進行解析，獲得所述新應用的應用信息，并將所述新應用的應用信息存儲在所述控件數據庫；

當監聽到有應用卸載操作時，在應用卸載過程中調用所述應用程序管理服務對卸載應用進行解析，獲得所述卸載應用的應用信息，并根據所述卸載應用的應用信息，從所述控件數據庫刪除所述卸載應用的應用信息。

2.如權利要求1所述的方法，其特征在于，所述遍歷所有所述控件子圖像，得到各個所述控件子圖像內的控件文字信息，包括：

遍歷所有所述待識別界面圖像中所有控件子圖像；對所遍歷到的任意一個所述控件子圖像執行以下步驟：

將所述控件子圖像作為當前控件子圖像；

對所述當前控件子圖像進行灰度化和二值化處理，得到所述當前控件子圖像的灰度圖像；

分別對所述灰度圖像進行水平投影和垂直投影，對所述灰度圖像進行字符分割，并獲取分割后單個字符的信息，獲得所述當前控件子圖像內的控件文字信息。

3.如權利要求1所述的方法，其特征在于，所述根據所述控件數據庫，向所述目標控件發送模擬按鍵控制指令，以對所述目標控件進行模擬控制，包括：

從所述控件數據庫獲取與所述目標控件的控件文字信息對應的所述控件的界面位置信息；

根據所述界面位置信息，向所述目標控件發送模擬按鍵控制指令，以對所述目標控件進行模擬控制。

4.如權利要求1所述的方法，其特征在于，所述根據預先建立的控件數據庫，劃分所述待識別界面圖像得到每個控件的控件子圖像，包括：

獲取當前界面包信息；

根據所述當前界面包信息，從所述控件數據庫獲取當前界面各控件的控件屬性信息；

根據所述控件屬性信息，通過劃分所述待識別界面圖像得到每個所述控件的控件子圖像。

5.如權利要求1至4任一項所述的方法，其特征在于，在所述當接收到控制語音時，對當前界面執行截屏操作，得到待識別界面圖像之前，還包括：

調用應用程序管理服務，獲取智能終端上已安裝應用的應用程序文件；

通過反匯編工具對所述應用程序文件進行反匯編，得到應用程序資源文件；

解析各個所述應用程序資源文件，獲得每一個應用程序的應用信息；其中，所述應用信息包括應用包名、應用界面包包名以及應用界面的控件信息；

根據所述應用信息，建立所述控件數據庫。