[發明專利]界面圖片的識別方法及裝置

在審

• 申請號: 201811333886.6
• 申請日: 2018-11-09
• 公開（公告）號: CN109542562A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 賀三元
• 申請（專利權）人: 浙江口碑網絡技術有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/00
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 宋菲;劉蘭蘭

本發明公開了一種界面圖片的識別方法及裝置，涉及電子信息領域，該方法包括：獲取待識別的界面圖片；根據預設的對象識別規則，確定所述界面圖片中包含的界面對象的對象屬性信息；根據所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象；根據所述界面圖片中包含的界面對象識別所述界面圖片。該方式能夠將存在關聯關系的圖片元素和文本元素作為一個整體性對象進行識別，使一個對象內部的圖片識別結果以及文本識別結果高度關聯，進而提升了界面圖片的識別效率和準確性，避免了現有技術中無法對已經處于分離狀態的圖片識別結果以及文本識別結果進行無縫拼接的問題。

技術領域

本發明涉及電子信息領域，具體涉及一種界面圖片的識別方法及裝置。

背景技術

目前，在許多應用場景中，都需要對應用界面、用戶界面或軟件界面中包含的界面圖片進行識別，以確定界面圖片中包含的具體信息，進而實現針對該界面圖片進行測試或編程等目的。

在現有技術中，針對界面圖片進行識別時，由于一張界面圖片通常由多個界面元素組成(例如，包括文本元素、圖片元素等各類元素)，因此，大多采用如下方式實現：首先，識別界面圖片中包含的各個元素；然后，針對識別出的各個元素進行組裝，以得到完整的界面圖片。

但是，發明人在實現本發明的過程中，發現上述方式至少存在如下問題：當界面圖片中同時包含圖片元素以及文本元素時，上述方案將分別針對圖片元素和文本元素進行識別，從而導致圖片識別結果與文本識別結果相互割裂，從而處于分離狀態。然而，當圖片元素與文本元素之間存在關聯關系時，則無法對已經處于分離狀態的圖片識別結果以及文本識別結果進行無縫拼接。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種界面圖片的識別方法及裝置。

根據本發明的一個方面，提供了一種界面圖片的識別方法，包括：

獲取待識別的界面圖片；

根據預設的對象識別規則，確定所述界面圖片中包含的界面對象的對象屬性信息；

根據所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象；

根據所述界面圖片中包含的界面對象識別所述界面圖片。

可選地，所述對象識別規則包括：根據預設的對象識別模型進行識別的規則；則所述方法執行之前，進一步包括：

獲取樣本圖片以及與所述樣本圖片相對應的樣本標注信息，根據預設的機器學習算法對所述樣本圖片以及與所述樣本圖片相對應的樣本標注信息進行訓練，以得到所述預設的對象識別模型。

可選地，所述樣本標注信息包括：所述樣本圖片中包含的樣本對象的對象屬性信息；

其中，所述樣本對象的對象屬性信息和/或所述界面對象的對象屬性信息包括以下中的至少一個：對象位置、對象尺寸、對象形狀、對象名稱、對象類型、以及對象結構；其中，所述界面對象包括：組件、和/或控件。

可選地，所述對象類型包括以下中的至少一個：按鈕類型、輸入框類型、文本類型以及復合類型；

所述對象結構包括：對象中包含的元素數量以及各個元素之間的關系；其中，所述各個元素之間的關系包括：父子關系、兄弟關系、和/或相對位置關系。

可選地，所述根據所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象包括：

根據所述界面圖片中包含的界面對象的對象屬性信息，確定所述界面圖片中包含的界面對象的數量；

分別針對所述界面圖片中包含的每個界面對象，根據該界面對象的對象屬性信息確定該界面對象在所述界面圖片中的對象區域，根據所述對象區域對該界面對象進行識別。