[發(fā)明專利]識別終端設(shè)備上顯示的應(yīng)用程序控件的方法及裝置有效
| 申請?zhí)枺?/td> | 201811468430.0 | 申請日： | 2018-12-03 |
| 公開（公告）號： | CN110046085B | 公開（公告）日： | 2022-12-13 |
| 發(fā)明（設(shè)計）人： | 黃偉東;李佳楠;孫震;陳忻;張新琛 | 申請（專利權(quán)）人： | 創(chuàng)新先進技術(shù)有限公司 |
| 主分類號： | G06F11/36 | 分類號： | G06F11/36;G06V10/74 |
| 代理公司： | 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376 | 代理人： | 林錦輝 |
| 地址： | 英屬開*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 識別 終端設(shè)備 顯示 應(yīng)用程序 控件 方法 裝置 | ||
1.一種用于識別終端設(shè)備上顯示的應(yīng)用程序控件的方法，包括：
基于圖像識別規(guī)則，從終端設(shè)備上顯示的應(yīng)用程序頁面的頁面圖片中識別出所述頁面圖片中的至少一個控件的第一控件信息，所述第一控件信息至少包括所述控件的第一控件描述信息；
針對所述至少一個控件中的每個控件，確定該控件的第一控件信息中的第一控件描述信息與目標應(yīng)用程序控件的目標控件描述信息之間的第一相似度；
在所確定出的所述至少一個控件中的所有控件的第一相似度都低于第一閾值或者存在多個控件的第一相似度不低于所述第一閾值時，從所述終端設(shè)備的系統(tǒng)數(shù)據(jù)中提取所述應(yīng)用程序頁面的控件布局信息中的第二控件信息，所述第二控件信息至少包括所述控件的第二控件描述信息；
針對所述至少一個控件中的每個控件，確定該控件的第二控件信息中的第二控件描述信息與目標應(yīng)用程序控件的目標控件描述信息之間的第二相似度；以及
將所確定出的第二相似度不低于第二閾值的控件識別為所述目標應(yīng)用程序控件。
2.如權(quán)利要求1所述的方法，其中，所述控件信息還包括控件的位置信息，所述第二控件信息為所述控件布局信息中的位于與所述第一控件信息的位置信息對應(yīng)的位置處的控件信息。
3.如權(quán)利要求1所述的方法，還包括：
獲取所述終端設(shè)備上顯示的應(yīng)用程序頁面的頁面圖片。
4.如權(quán)利要求1所述的方法，還包括：
在所確定出的所述至少一個控件中僅僅存在一個控件的第一相似度不低于所述第一閾值時，將該控件識別為所述目標應(yīng)用程序控件。
5.如權(quán)利要求1所述的方法，在將所確定出的第二相似度不低于第二閾值的控件識別為所述目標應(yīng)用程序控件后，所述方法還包括：
確定所述目標應(yīng)用程序控件的第一控件信息中的第一控件描述信息和第二控件信息中的第二控件描述信息之間的第三相似度；以及
在所確定出的第三相似度不低于第三閾值時，基于所述第二控件信息中的第二控件描述信息，調(diào)整用于第一相似度確定的相似度確定規(guī)則和/或所述第一閾值，和/或
在所確定出的第三相似度低于所述第三閾值時，調(diào)整所述圖像識別規(guī)則。
6.如權(quán)利要求5所述的方法，其中，所述控件描述信息為控件的文本描述信息，所述相似度確定規(guī)則包括：
基于文本描述信息的字符串所包含的字符來確定文本描述信息之間的相似度；或者
基于文本描述信息經(jīng)過分割后得到的文本片段來確定文本描述信息之間的相似度。
7.如權(quán)利要求2所述的方法，還包括：
基于被識別為所述目標應(yīng)用程序控件的控件的控件信息中的位置信息，對所述控件執(zhí)行操作。
8.如權(quán)利要求1-7中任一項所述的方法，其中，所述應(yīng)用程序頁面的控件布局信息是利用所述終端設(shè)備的Dump功能提取的。
9.一種用于識別終端設(shè)備上顯示的應(yīng)用程序控件的裝置，包括：
控件信息識別模塊，被配置為基于圖像識別規(guī)則，從終端設(shè)備上顯示的應(yīng)用程序頁面的頁面圖片中識別出所述頁面圖片中的至少一個控件的第一控件信息，所述第一控件信息至少包括所述控件的第一控件描述信息；
第一相似度確定模塊，被配置為針對所述至少一個控件中的每個控件，確定該控件的第一控件信息中的第一控件描述信息與目標應(yīng)用程序控件的目標控件描述信息之間的第一相似度；
控件布局信息提取模塊，被配置為在所確定出的所述至少一個控件中的所有控件的第一相似度都低于第一閾值或者存在多個控件的第一相似度不低于所述第一閾值時，從所述終端設(shè)備的系統(tǒng)數(shù)據(jù)中提取所述應(yīng)用程序頁面的控件布局信息中的第二控件信息，所述第二控件信息至少包括所述控件的第二控件描述信息；
第二相似度確定模塊，被配置為針對所述至少一個控件中的每個控件，確定該控件的第二控件信息中的第二控件描述信息與目標應(yīng)用程序控件的目標控件描述信息之間的第二相似度；以及
目標控件識別模塊，被配置為將所確定出的第二相似度不低于第二閾值的控件識別為所述目標應(yīng)用程序控件。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于創(chuàng)新先進技術(shù)有限公司，未經(jīng)創(chuàng)新先進技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811468430.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 對虛擬化應(yīng)用程序的基于策略的訪問
- 應(yīng)用程序執(zhí)行、應(yīng)用程序提供裝置和應(yīng)用程序分發(fā)方法
- 一種軟件保護方法、裝置及系統(tǒng)
- 應(yīng)用程序的開發(fā)方法和系統(tǒng)
- 應(yīng)用程序的擴展方法及裝置
- 一種應(yīng)用程序商店的應(yīng)用程序發(fā)布方法及裝置
- 一種應(yīng)用程序的監(jiān)控方法、裝置及系統(tǒng)
- 用于對虛擬化應(yīng)用程序的基于策略的訪問的方法和系統(tǒng)
- 應(yīng)用程序控制方法、裝置、終端及存儲介質(zhì)
- 一種應(yīng)用程序安裝、卸載方法及通信終端
