[發明專利]界面識別方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110253056.8
• 申請日: 2021-03-02
• 公開（公告）號: CN112835807B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 汪承佳;姜慈航
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F9/451;G06V10/75;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 吳文心

本發明實施例提供了一種界面識別方法、裝置、電子設備和存儲介質，所述方法包括：將待處理的界面輸入預先訓練的網絡模型中，得到界面特征；采用所述界面特征與預先記錄的圖元模板特征計算響應圖，所述圖元模板特征具有對應的界面類型；依據所述響應圖得到所述圖元模板特征的匹配分數；依據所述匹配分數，從所述圖元模板特征中確定目標圖元模板特征；將所述界面的界面類型識別為所述目標圖元模板特征對應的界面類型。本發明實施例的圖元模板特征可以定義一個界面類型，因此通過將界面的界面特征與圖元模板特征進行匹配可以確定目標圖元模板特征，即可確定該界面的界面類型，提高了界面識別的準確性。

技術領域

本發明實施例涉及界面處理技術領域，特別是涉及一種界面識別方法、一種界面識別裝置、電子設備和存儲介質。

背景技術

對于開發的界面(User Interface，用戶界面)，需要編寫和調試測試腳本，對界面進行自動化測試。其中，在對界面進行測試的過程中，需要對界面進行識別，例如識別界面是否是在一次測試過程中已經測試過的某一類型的界面，有助于在界面測試中準確地描述和記錄測試流程。

具體地，目前的界面識別的技術方案有多種，例如：1)基于支持向量機等傳統機器學習方法來訓練圖像分類器；2)通過大量人力標注數據來訓練基于神經網絡的圖像分類器；3)基于當前游戲界面的UI樹來進行界面識別。其中，界面是軟件界面，也可以是軟件界面中用戶可操作的UI組件，UI樹是由界面上每個可操作的UI組件及其從屬層級關系組成的一個抽象樹結構，例如，假設有UI組件A和UI組件B，若A從屬于B，且A僅比B低一層級，則在UI樹中A為B的子節點，以此類推。

上述的界面識別的技術方案中，1)和2)是機器學習相關的方案，而3)則是樹結構比對的方案。具體地，1)和2)可以僅僅基于圖像來開展，但是前提是需要大量人力標注數據進行訓練，3)則需要提供UI樹獲取接口才能正常進行，雖然無需大量人力標注數據，但是可操作性差?？梢?，目前已有的界面識別技術方案，在識別界面時，要么需要耗費大量人力去標注訓練數據，要么界面識別的準確率不高，要么在實際游戲測試工作中的可操作性不高。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種界面識別方法和相應的一種界面識別裝置、電子設備、存儲介質。

為了解決上述問題，本發明實施例公開了一種界面識別方法，所述方法包括：

將待處理的界面輸入預先訓練的網絡模型中，得到界面特征；

采用所述界面特征與預先記錄的圖元模板特征計算響應圖，所述圖元模板特征具有對應的界面類型；

依據所述響應圖得到所述圖元模板特征的匹配分數；

依據所述匹配分數，從所述圖元模板特征中確定目標圖元模板特征；

將所述界面的界面類型識別為所述目標圖元模板特征對應的界面類型。

可選地，在所述將待處理的界面輸入預先訓練的網絡模型中，得到界面特征之前，所述方法還包括：

從指定界面中截取的特征圖元；

確定所述特征圖元在所述指定界面中的圖元位置和尺寸信息；

將所述特征圖元輸入預先訓練的網絡模型中，得到圖元模板特征。

可選地，所述將待處理的界面輸入預先訓練的網絡模型中，得到界面特征，包括：

獲取所述圖元模板特征的尺寸信息；

按照所述尺寸信息調整待處理的界面的尺寸；

將調整尺寸后的所述界面輸入預先訓練的網絡模型中，得到界面特征。

可選地，所述依據所述響應圖得到所述圖元模板特征的匹配分數，包括：