[發(fā)明專(zhuān)利]一種應(yīng)用于用戶界面中的控件識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910838588.0
• 申請(qǐng)日: 2019-09-05
• 公開(kāi)（公告）號(hào): CN110532056A
• 公開(kāi)（公告）日: 2019-12-03
• 發(fā)明（設(shè)計(jì)）人: 王明星;黃晶;羅勇冠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類(lèi)號(hào): G06F9/451
• 分類(lèi)號(hào): G06F9/451;G06F11/36
• 代理公司: 44285 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 吳磊<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入國(guó)

本申請(qǐng)公開(kāi)了一種應(yīng)用于用戶界面中的控件識(shí)別方法及裝置，通過(guò)實(shí)時(shí)獲取用戶界面和所述用戶界面對(duì)應(yīng)的控制節(jié)點(diǎn)信息；然后根據(jù)所述控制節(jié)點(diǎn)信息確定多個(gè)控制節(jié)點(diǎn)的位置，并將所述界面截圖基于所述控制節(jié)點(diǎn)進(jìn)行切分，以得到多個(gè)子截圖；并確定所述控制節(jié)點(diǎn)對(duì)應(yīng)的界面控件，以建立各個(gè)時(shí)刻所述界面控件與所述子截圖之間的關(guān)聯(lián)關(guān)系，接下來(lái)根據(jù)所述關(guān)聯(lián)關(guān)系識(shí)別當(dāng)前用戶界面中的界面控件，以得到所述當(dāng)前用戶界面的界面控件信息，提高了控件識(shí)別的精確度及效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于用戶界面中的控件識(shí)別方法及裝置。

背景技術(shù)

在用戶與終端設(shè)備的交互過(guò)程中，常常會(huì)通過(guò)用戶界面(userinterface，UI)進(jìn)行交互操作，其中交互操作是基于UI控件實(shí)現(xiàn)的，如按鈕、文本字段、定位欄、復(fù)選框、縮放按鈕、切換按鈕等，為保證控制的正常運(yùn)行，需要對(duì)控件進(jìn)行UI自動(dòng)化測(cè)試，比較實(shí)際的UI顯示結(jié)果與預(yù)期結(jié)果之間的差異，而在比較差異之前首先要識(shí)別當(dāng)前控件的具體信息。

一般，對(duì)于UI控件的識(shí)別是基于控件的屬性來(lái)識(shí)別，如appium測(cè)試工具通過(guò)uiautomatorviewer.bat工具來(lái)查看控件的屬性，name定位對(duì)應(yīng)于控件的text屬性、id定位對(duì)應(yīng)于控件的resource-id屬性、class name定位對(duì)應(yīng)于控件的class屬性、xpath定位對(duì)應(yīng)于控件的屬性組合，通過(guò)對(duì)于這些屬性的對(duì)比識(shí)別當(dāng)前控件具體的信息。

但是，由于控件的屬性并不會(huì)一直都存在，有時(shí)候會(huì)出現(xiàn)屬性欄為空的情況，需要人工去篩選哪一些屬性是可用于定位和識(shí)別控件的，影響控件識(shí)別的效率；而且，由于控件屬性的不唯一性，可能會(huì)出現(xiàn)識(shí)別控件錯(cuò)誤的問(wèn)題，影響控件識(shí)別的準(zhǔn)確性。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)第一方面提供一種應(yīng)用于用戶界面中的控件識(shí)別方法，可應(yīng)用于用戶界面的系統(tǒng)或程序過(guò)程中，具體包括：實(shí)時(shí)獲取用戶界面和所述用戶界面對(duì)應(yīng)的控制節(jié)點(diǎn)信息，所述用戶界面用于確定界面截圖；

根據(jù)所述控制節(jié)點(diǎn)信息確定多個(gè)控制節(jié)點(diǎn)的位置，并將所述界面截圖基于所述控制節(jié)點(diǎn)進(jìn)行切分，以得到多個(gè)子截圖；

確定所述控制節(jié)點(diǎn)對(duì)應(yīng)的界面控件，以建立各個(gè)時(shí)刻所述界面控件與所述子截圖之間的關(guān)聯(lián)關(guān)系；

根據(jù)所述關(guān)聯(lián)關(guān)系識(shí)別當(dāng)前用戶界面中的界面控件，以得到所述當(dāng)前用戶界面的界面控件信息。

優(yōu)選的，在本申請(qǐng)一些可能的實(shí)現(xiàn)方式中，所述根據(jù)所述控制節(jié)點(diǎn)信息確定多個(gè)控制節(jié)點(diǎn)的位置，并將所述界面截圖基于所述控制節(jié)點(diǎn)進(jìn)行切分，以得到多個(gè)子截圖之后，所述方法還包括：

獲取所述子截圖的屬性信息；

根據(jù)所述屬性信息確定所述子截圖的度量值或圖片指紋，所述度量值包括長(zhǎng)度、寬度或面積。

優(yōu)選的，在本申請(qǐng)一些可能的實(shí)現(xiàn)方式中，所述根據(jù)所述關(guān)聯(lián)關(guān)系識(shí)別當(dāng)前用戶界面中的界面控件信息，包括：

獲取當(dāng)前用戶界面和所述當(dāng)前用戶界面對(duì)應(yīng)的當(dāng)前控制節(jié)點(diǎn)信息，所述當(dāng)前用戶界面用于確定當(dāng)前界面截圖；

根據(jù)所述當(dāng)前控制節(jié)點(diǎn)信息確定多個(gè)當(dāng)前控制節(jié)點(diǎn)的位置，并將所述當(dāng)前界面截圖基于所述當(dāng)前控制節(jié)點(diǎn)進(jìn)行切分，以得到多個(gè)當(dāng)前子截圖；

遍歷與所述當(dāng)前子截圖相似度滿足預(yù)設(shè)條件的所述子截圖，并根據(jù)所述關(guān)聯(lián)關(guān)系確定對(duì)應(yīng)的界面控件信息，所述預(yù)設(shè)條件基于所述屬性信息的相似度設(shè)定。

優(yōu)選的，在本申請(qǐng)一些可能的實(shí)現(xiàn)方式中，所述遍歷與所述當(dāng)前子截圖相似度滿足預(yù)設(shè)條件的所述子截圖，包括：

確定所述當(dāng)前子截圖的度量信息；

若所述當(dāng)前子截圖的度量信息與子截圖的度量信息相比滿足預(yù)設(shè)條件，則將所述當(dāng)前子截圖與所述子截圖關(guān)聯(lián)。