[發明專利]界面邏輯解析方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201910959932.1
• 申請日: 2019-10-10
• 公開（公告）號: CN110704153B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何元欽;吳子凡;虢齊;張潮宇;黃陽琨;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

1.一種界面邏輯解析方法，其特征在于，所述界面邏輯解析方法包括：

接收界面圖像，并將所述界面圖像輸入預設界面圖像解析器，以對所述界面圖像進行解析，獲得解析結果，其中，所述解析結果包括區域目標識別結果、區域目標屬性檢測結果和文字識別檢測結果；

將所述區域目標識別結果、所述區域目標屬性檢測結果和所述文字識別檢測結果進行合并，獲得界面元素識別檢測結果；

基于預設元素動作庫，為所述界面元素識別檢測結果對應的各個界面元素配置可執行動作，以基于各個所述界面元素對應的可執行動作，建立所述界面元素邏輯關系；

基于所述解析結果，對所述界面圖像中各圖像元素進行層次劃分，獲得層次劃分結果，其中，所述圖像元素包括界面、界面區域以及界面元素；

通過所述層次劃分結果確定所述界面與所述界面區域之間的從屬關系和所述界面區域與所述界面元素之間的從屬關系，以及通過所述界面元素邏輯關系確定所述界面元素之間的邏輯關系，建立界面完整邏輯模型。

2.如權利要求1所述界面邏輯解析方法，其特征在于，所述預設界面圖像解析器包括圖像分類模型、圖像目標和屬性檢測模型、圖像分割模型和文字識別檢測模型，所述解析結果包括圖像識別結果、界面區域分割結果、區域目標識別結果、區域目標屬性檢測結果和文字識別檢測結果，

所述將所述界面圖像輸入預設界面圖像解析器，以對所述界面圖像的界面邏輯關系進行解析，獲得解析結果的步驟包括：

將所述界面圖像輸入所述圖像分類模型，以對所述界面圖像進行識別和分類，獲得所述圖像識別結果；

將所述界面圖像輸入所述圖像分割模型，以對所述界面圖像進行界面區域分割，獲得所述界面區域分割結果；

將進行所述界面區域分割后的所述界面圖像輸入所述圖像目標和屬性檢測模型，以對所述界面圖像中的各界面區域進行目標檢測，獲得所述區域目標識別結果和所述區域目標屬性檢測結果；

將進行所述界面區域分割后的所述界面圖像輸入所述文字識別檢測模型，以對各所述界面區域進行文字檢測，獲得所述文字識別檢測結果。

3.如權利要求2所述界面邏輯解析方法，其特征在于，所述將所述界面圖像輸入所述圖像分類模型，以對所述界面圖像進行識別和分類，獲得所述圖像識別結果的步驟包括：

將所述界面圖像輸入所述圖像分類模型，以對所述界面圖像進行預設次數的卷積和池化交替處理，獲得所述界面圖像對應的多個圖像分類特征圖；

對所述多個圖像分類特征圖進行全連接，獲得圖像分類特征向量，并提取所述圖像分類特征向量中的所述圖像識別結果。

4.如權利要求2所述界面邏輯解析方法，其特征在于，所述將所述界面圖像輸入所述圖像分割模型，以對所述界面圖像進行界面區域分割，獲得所述界面區域分割結果的步驟包括：

將所述界面圖像輸入所述圖像分割模型，以對所述界面圖像進行編碼，獲得編碼結果；

對所述編碼結果進行解碼，獲得所述界面區域分割結果。

5.如權利要求2所述界面邏輯解析方法，其特征在于，所述將進行所述界面區域分割后的所述界面圖像輸入所述圖像目標和屬性檢測模型，以對所述界面圖像中的各界面區域進行目標檢測，獲得所述區域目標識別結果和所述區域目標屬性檢測結果的步驟包括：

將進行所述界面區域分割后的所述界面圖像輸入所述圖像目標和屬性檢測模型，以對所述界面區域中的第一候選區域進行框選，獲得所述第一候選區域對應的一個或者多個第一目標框，其中，一所述第一候選區域對應一所述第一目標框；

對各所述第一目標框進行預設次數的卷積和池化交替處理，獲得各所述第一目標框對應的多個第一目標框特征圖；

對所述多個第一目標框特征圖進行全連接，獲得各所述第一目標框對應的區域目標特征向量，并提取各所述區域目標特征向量中的區域目標和屬性信息，獲得所述區域目標識別結果和所述區域目標屬性檢測結果。