[發(fā)明專利]界面控制方法、裝置、智能終端及計算機可讀存儲介質

有效

• 申請?zhí)枺?/td>: 201811150626.5
• 申請日: 2018-09-29
• 公開（公告）號: CN110968375B
• 公開（公告）日: 2023-01-31
• 發(fā)明（設計）人: 孫向作
• 申請（專利權）人: TCL科技集團股份有限公司
• 主分類號: G06F3/16
• 分類號: G06F3/16;G06F3/0481;G06F3/0484;G06F3/0488;G06V20/62;G06V10/26;G06F9/451;G10L15/22
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權代理有限公司 44414
• 代理人: 李艷麗

本發(fā)明實施例適用于界面控制技術領域，公開了一種界面控制方法、裝置、智能終端及計算機可讀存儲介質，其中，方法包括：當接收到控制語音時，對當前界面執(zhí)行截屏操作，得到待識別界面圖像；劃分待識別界面圖像得到每個控件的控件子圖像；遍歷所有控件子圖像，得到各個控件子圖像內的文字信息；將控制語音對應的文字信息與各控件的控件文字信息進行匹配，判斷是否一致；當控制語音對應的文字信息與控件的控件文字信息一致，向控件發(fā)送模擬按鍵控制指令，以對控件進行模擬控制。本發(fā)明實施例可以在界面控件包含圖片且圖片內有文字的場景下，實現(xiàn)界面控件的控制。

技術領域

本發(fā)明屬于界面控制技術領域，尤其涉及一種界面控制方法、裝置、智能終端及計算機可讀存儲介質。

背景技術

隨著終端技術的不斷發(fā)展，智能終端的應用也越來越廣泛。

目前，手機、平板電腦、智能電視等終端一般是基于Android操作系統(tǒng)的。智能終端可以通過語音控制，即，用戶輸入語音，智能終端根據(jù)語音執(zhí)行相應的控制操作。其中，智能終端在接收到用戶語音后，將語音內容轉換為文字內容，然后在終端界面或應用界面上搜尋與該語音內容一致的控件，再發(fā)送模擬按鍵指令來操作相應控件，以實現(xiàn)語音控制界面。但是，現(xiàn)有的語音控制界面的方法只能控制界面上單純包含文字的控件，對于一些包含圖片，且圖片中有文字的界面控件，由于無法識別出圖片中的文字內容，無法實現(xiàn)對該界面控件的語音控制，實現(xiàn)界面控制。

發(fā)明內容

有鑒于此，本發(fā)明實施例提供了一種界面控制方法、裝置、智能終端及計算機可讀存儲介質，以解決現(xiàn)有在控制界面包含圖片且圖片中有文字的場景下無法實現(xiàn)對該界面進行控制的問題。

本發(fā)明實施例的第一方面提供了一種界面控制方法，包括：當接收到控制語音時，對當前界面執(zhí)行截屏操作，得到待識別界面圖像；劃分所述待識別界面圖像得到每個控件的控件子圖像；遍歷所有所述控件子圖像，得到各個所述控件子圖像內的文字信息；將所述控制語音對應的文字信息與各所述控件的控件文字信息進行匹配，判斷是否一致；當所述控制語音對應的文字信息與所述控件的控件文字信息一致，向所述控件發(fā)送模擬按鍵控制指令，以對所述控件進行模擬控制。

可選地，所述遍歷所有所述控件子圖像，得到各個所述控件子圖像內的文字信息，包括：遍歷所有所述待識別界面圖像中所有控件子圖像；對所遍歷到的任意一個所述控件子圖像執(zhí)行以下步驟：

將所述控件子圖像作為當前控件子圖像；

對所述當前控件子圖像進行灰度化和二值化處理，得到所述當前控件子圖像的灰度圖像；

分別對所述灰度圖像進行水平投影和垂直投影，對所述灰度圖像進行字符分割，并獲取分割后單個字符的信息，獲得所述當前控件子圖像的文字信息。

可選地，所述向所述控件發(fā)送模擬按鍵控制指令，以對所述控件進行模擬控制，包括：從預建立的控件數(shù)據(jù)庫獲取與所述控件文字信息對應的所述控件的界面位置信息；根據(jù)所述界面位置信息，向所述控件發(fā)送模擬按鍵控制指令，以對所述進行模擬控制。

可選地，所述劃分所述待識別界面圖像得到每個控件的控件子圖像，包括：獲取當前界面包信息；根據(jù)所述當前界面包信息，從預建立的控件數(shù)據(jù)庫獲取當前界面各控件的控件屬性信息；根據(jù)所述控件屬性信息，通過劃分所述待識別界面圖像得到每個所述控件的控件子圖像。

可選地，在所述當接收到控制語音時，對當前界面執(zhí)行截屏操作，得到待識別界面圖像之前，還包括：調用應用程序管理服務，獲取智能終端上已安裝應用的應用程序文件；通過反匯編工具對所述應用程序文件進行反匯編，得到應用程序資源文件；解析各個所述應用程序資源文件，獲得每一個應用程序的應用信息；其中，所述應用信息包括應用包名、應用界面包包名以及應用界面的控件信息；根據(jù)所述應用信息，建立控件數(shù)據(jù)庫。