[發(fā)明專利]頁(yè)面控件定位方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310873430.3
• 申請(qǐng)日: 2023-07-17
• 公開(kāi)（公告）號(hào): CN116594916A
• 公開(kāi)（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 梁穎霖
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36;G06F9/451
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 譚英強(qiáng);孫浩

1.一種頁(yè)面控件定位方法，其特征在于，包括以下步驟：

獲取頁(yè)面測(cè)試用例中的用例控件描述信息；

確定待測(cè)試頁(yè)面中的多個(gè)候選無(wú)文字描述控件，根據(jù)各個(gè)所述候選無(wú)文字描述控件，在預(yù)設(shè)的圖文映射信息庫(kù)中獲取各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的控件標(biāo)簽信息；

調(diào)用預(yù)訓(xùn)練的無(wú)文字描述控件匹配模型，將各個(gè)所述控件標(biāo)簽信息與所述用例控件描述信息進(jìn)行控件匹配，得到各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的第一匹配度；

當(dāng)根據(jù)所述第一匹配度確定所有所述候選無(wú)文字描述控件中存在與所述用例控件描述信息相匹配的目標(biāo)無(wú)文字描述控件，在所述待測(cè)試頁(yè)面中對(duì)所述目標(biāo)無(wú)文字描述控件進(jìn)行定位。

2.根據(jù)權(quán)利要求1所述的頁(yè)面控件定位方法，其特征在于，所述圖文映射信息庫(kù)由以下步驟得到：

獲取各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的設(shè)計(jì)插圖；

為各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的所述設(shè)計(jì)插圖配置所述控件標(biāo)簽信息；

根據(jù)所述設(shè)計(jì)插圖和所述控件標(biāo)簽信息構(gòu)建所述圖文映射信息庫(kù)。

3.根據(jù)權(quán)利要求1所述的頁(yè)面控件定位方法，其特征在于，所述頁(yè)面控件定位方法還包括：

當(dāng)檢測(cè)到所述待測(cè)試頁(yè)面所對(duì)應(yīng)的應(yīng)用程序的頁(yè)面控件信息發(fā)生了更新，在所述頁(yè)面控件信息中獲取發(fā)生更新的目標(biāo)控件信息；

確定所述目標(biāo)控件數(shù)據(jù)對(duì)應(yīng)的控件類型；

當(dāng)所述控件類型為無(wú)文字描述控件類型，利用所述目標(biāo)控件信息對(duì)所述無(wú)文字描述控件匹配模型進(jìn)行增量訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的頁(yè)面控件定位方法，其特征在于，檢測(cè)所述應(yīng)用程序的所述頁(yè)面控件信息是否發(fā)生更新的過(guò)程，包括以下步驟：

獲取所述應(yīng)用程序的當(dāng)前用戶界面轉(zhuǎn)換圖信息和歷史用戶界面轉(zhuǎn)換圖信息；

將所述當(dāng)前用戶界面轉(zhuǎn)換圖信息和所述歷史用戶界面轉(zhuǎn)換圖信息進(jìn)行信息比較，得到比較結(jié)果；

當(dāng)所述比較結(jié)果為所述當(dāng)前用戶界面轉(zhuǎn)換圖信息和所述歷史用戶界面轉(zhuǎn)換圖信息不一致，確定所述應(yīng)用程序的所述頁(yè)面控件信息發(fā)生了更新。

5.根據(jù)權(quán)利要求4所述的頁(yè)面控件定位方法，其特征在于，獲取所述當(dāng)前用戶界面轉(zhuǎn)換圖信息的過(guò)程，包括以下步驟：

獲取當(dāng)前版本的所述應(yīng)用程序的所有圖形用戶界面信息；

獲取對(duì)各個(gè)所述圖形用戶界面信息中的控件元素的操作信息；

將所述圖形用戶界面信息作為節(jié)點(diǎn)，并將所述操作信息作為連接邊連接對(duì)應(yīng)的所述節(jié)點(diǎn)，得到所述當(dāng)前用戶界面轉(zhuǎn)換圖信息。

6.根據(jù)權(quán)利要求1所述的頁(yè)面控件定位方法，其特征在于，根據(jù)所述第一匹配度確定所有所述候選無(wú)文字描述控件中存在與所述用例控件描述信息相匹配的目標(biāo)無(wú)文字描述控件的過(guò)程，包括以下步驟：

在所有所述第一匹配度中確定數(shù)值最大的第一目標(biāo)匹配度；

當(dāng)所述第一目標(biāo)匹配度大于預(yù)設(shè)的第一匹配度閾值，確定所有所述候選無(wú)文字描述控件中存在與所述用例控件描述信息相匹配的目標(biāo)無(wú)文字描述控件，并且所述目標(biāo)無(wú)文字描述控件為所述第一目標(biāo)匹配度對(duì)應(yīng)的所述候選無(wú)文字描述控件。

7.根據(jù)權(quán)利要求1所述的頁(yè)面控件定位方法，其特征在于，所述調(diào)用預(yù)訓(xùn)練的無(wú)文字描述控件匹配模型，將所述用例控件描述信息與各個(gè)所述控件標(biāo)簽信息進(jìn)行控件匹配，得到各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的第一匹配度，包括：

確定所述待測(cè)試頁(yè)面中的多個(gè)候選有文字描述控件，并獲取各個(gè)所述候選有文字描述控件的文本描述信息；

調(diào)用預(yù)訓(xùn)練的有文字描述控件匹配模型，將所述用例控件描述信息與各個(gè)所述文本描述信息進(jìn)行控件匹配，得到各個(gè)所述候選有文字描述控件對(duì)應(yīng)的第二匹配度；

當(dāng)根據(jù)所述第二匹配度確定所有所述候選有文字描述控件中不存在與所述用例控件描述信息相匹配的目標(biāo)有文字描述控件，調(diào)用預(yù)訓(xùn)練的無(wú)文字描述控件匹配模型，將所述用例控件描述信息與各個(gè)所述控件標(biāo)簽信息進(jìn)行控件匹配，得到各個(gè)所述候選無(wú)文字描述控件對(duì)應(yīng)的第一匹配度。