[發(fā)明專利]界面識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110253056.8
• 申請(qǐng)日: 2021-03-02
• 公開（公告）號(hào): CN112835807B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 汪承佳;姜慈航
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36;G06F9/451;G06V10/75;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 吳文心

1.一種界面識(shí)別方法，其特征在于，所述方法包括：

將待處理的界面輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到界面特征；

采用所述界面特征與預(yù)先記錄的圖元模板特征計(jì)算響應(yīng)圖，所述圖元模板特征具有對(duì)應(yīng)的界面類型；

依據(jù)所述響應(yīng)圖得到所述圖元模板特征的匹配分?jǐn)?shù)；

依據(jù)所述匹配分?jǐn)?shù)，從所述圖元模板特征中確定目標(biāo)圖元模板特征；

將所述界面的界面類型識(shí)別為所述目標(biāo)圖元模板特征對(duì)應(yīng)的界面類型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將待處理的界面輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到界面特征之前，所述方法還包括：

從指定界面中截取的特征圖元；

確定所述特征圖元在所述指定界面中的圖元位置和尺寸信息；

將所述特征圖元輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到圖元模板特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將待處理的界面輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到界面特征，包括：

獲取所述圖元模板特征的尺寸信息；

按照所述尺寸信息調(diào)整待處理的界面的尺寸；

將調(diào)整尺寸后的所述界面輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到界面特征。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依據(jù)所述響應(yīng)圖得到所述圖元模板特征的匹配分?jǐn)?shù)，包括：

獲取所述響應(yīng)圖的峰值在所述待處理的界面中的匹配位置；

采用所述峰值、所述匹配位置、所述圖元位置和所述尺寸信息，計(jì)算所述圖元模板特征的匹配分?jǐn)?shù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述匹配分?jǐn)?shù)，從所述圖元模板特征中確定目標(biāo)圖元模板特征，包括：

將所述匹配分?jǐn)?shù)大于預(yù)設(shè)閾值且所述匹配分?jǐn)?shù)最高的圖元模板特征，作為目標(biāo)圖元模板特征。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述界面的界面類型識(shí)別為所述目標(biāo)圖元模板特征對(duì)應(yīng)的界面類型之后，所述方法還包括：

確定所述界面的界面類型與界面類型集合中的界面類型是否相同；

當(dāng)所述界面的界面類型與所述界面類型集合中的界面類型不相同時(shí)，將所述界面的界面類型存入所述界面類型集合中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在將所述界面的界面類型識(shí)別為所述目標(biāo)圖元模板特征對(duì)應(yīng)的界面類型之后，所述方法還包括：

當(dāng)所述界面的界面類型與所述界面類型集合中的界面類型相同時(shí)，獲取與所述界面類型集合中的界面類型相同的在先界面對(duì)應(yīng)的測(cè)試信息，對(duì)所述界面進(jìn)行測(cè)試；所述測(cè)試信息包括所述在先界面的測(cè)試結(jié)果或者所述在先界面的中界面元素的測(cè)試結(jié)果。

8.一種界面識(shí)別裝置，其特征在于，所述裝置包括：

界面特征得到模塊，用于將待處理的界面輸入預(yù)先訓(xùn)練的網(wǎng)絡(luò)模型中，得到界面特征；

響應(yīng)圖計(jì)算模塊，用于采用所述界面特征與預(yù)先記錄的圖元模板特征計(jì)算響應(yīng)圖，所述圖元模板特征具有對(duì)應(yīng)的界面類型；

匹配分?jǐn)?shù)得到模塊，用于依據(jù)所述響應(yīng)圖得到所述圖元模板特征的匹配分?jǐn)?shù)；

目標(biāo)圖元模板特征確定模塊，用于依據(jù)所述匹配分?jǐn)?shù)，從所述圖元模板特征中確定目標(biāo)圖元模板特征；

界面類型確定模塊，用于將所述界面的界面類型識(shí)別為所述目標(biāo)圖元模板特征對(duì)應(yīng)的界面類型。

9.一種電子設(shè)備，其特征在于，包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并能夠在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的界面識(shí)別方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的界面識(shí)別方法的步驟。