[發明專利]頁面元素的識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110442292.4
• 申請日: 2021-04-23
• 公開（公告）號: CN113128604A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 王繹超
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/73;G06K9/46;G06N3/04;G06N3/08;G06T7/11;G06T7/136;G06T7/194
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;丁蕓

本發明實施例提供了一種頁面元素的識別方法、裝置、電子設備及存儲介質，其中頁面元素的識別方法包括：獲取待處理頁面，待處理頁面為包含至少一個目標元素信息的頁面圖；基于預先訓練好的圖像識別模型，對待處理頁面進行元素識別，獲得識別結果，識別結果中包含目標元素的位置及類別。本發明實施例能夠實現圖像中各組件元素的智能識別。

技術領域

本發明涉及頁面處理技術領域，特別是涉及一種頁面元素的識別方法、裝置、電子設備及存儲介質。

背景技術

在視頻APP(Application，應用程序)的開發過程中，通常需要先提供UI(UserInterface，用戶界面)設計圖，接著由研發人員對UI設計圖進行識別，識別其中的區塊、圖片、角標、文本、以及按鈕等組件元素，再利用這些組件元素生成區塊模板，經過后端代碼處理后將組裝好的模板數據返回給APP端，由APP端完成頁面的渲染，即可將頁面展示給用戶。

現有技術中，通常采用人工識別的方法識別UI設計圖中的區塊、圖片、角標、文本以及按鈕等組件元素，識別效率較低，也就是說，現有技術無法實現UI設計圖中各組件元素的智能識別。

發明內容

本發明實施例的目的在于提供一種頁面元素的識別方法、裝置、電子設備及存儲介質，以實現頁面中各組件元素的智能識別。具體技術方案如下：

本發明實施例的第一方面，提供一種頁面元素的識別方法，所述方法包括：

獲取待處理頁面，所述待處理頁面為包含至少一個目標元素的頁面圖；

基于預先訓練好的圖像識別模型，對所述待處理頁面進行元素識別，獲得識別結果，所述識別結果中包含目標元素的位置及類別。

可選地，所述識別結果中還包含：所述目標元素的尺寸信息；

所述方法還包括：

基于各所述目標元素的位置、類別及所述尺寸信息，生成頁面模板結構，所述頁面模板結構中包括各所述目標元素，以及各所述目標元素的排列順序；

基于所述頁面模板結構，以及預設的數據標識，生成頁面模板，所述數據標識為預先確定的用于生成頁面的數據的標識。

可選地，所述基于預先訓練好的圖像識別模型，對所述待處理頁面進行元素識別，獲得識別結果的步驟，包括：

利用所述圖像識別模型中的特征提取子模型，對所述待處理頁面進行特征提取，獲得特征圖；

利用所述圖像識別模型中的區域生成子模型，獲得所述特征圖中的多個預測區域，及各所述預測區域對應的目標得分；

利用所述圖像識別模型中的區域篩選子模型，各所述預測區域的目標得分，及各所述預測區域在所述待處理頁面中的位置，從所述多個預測區域篩選出多個目標區域，所述目標區域的數量少于所述預測區域的數量；

利用所述圖像識別模型中的區域識別子模型，以及所述特征圖，獲得各所述目標區域的類別。

可選地，所述利用所述圖像識別模型中的區域生成子模型，獲得所述特征圖中的多個預測區域，及各所述預測區域對應的目標得分的步驟，包括：

利用所述區域生成子模型，確定所述特征圖中的多個錨點中心，及每個所述錨點中心對應的多個錨點區域；

獲得每個所述錨點區域對應的預測偏移量及各所述預測偏移量對應的目標得分；所述預測偏移量表示所述錨點區域相對于所述目標元素所預測的偏移量；

利用每個所述錨點區域，及每個所述錨點區域對應的所述多個預測偏移量，獲得每個所述錨點區域對應的多個預測區域。