[發明專利]界面邏輯解析方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201910959932.1
• 申請日: 2019-10-10
• 公開（公告）號: CN110704153B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何元欽;吳子凡;虢齊;張潮宇;黃陽琨;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本發明公開了一種界面邏輯解析方法、裝置、設備和可讀存儲介質，所述界面邏輯解析方法包括：接收界面圖像，并將所述界面圖像輸入預設界面圖像解析器，以對所述界面圖像進行解析，獲得解析結果，基于所述解析結果，建立界面元素邏輯關系，并獲取所述解析結果對應的層次劃分結果，基于所述界面元素邏輯關系和所述層次劃分結果，建立界面完整邏輯模型。解決了現有技術中界面邏輯解析不準確和不穩定的技術問題。

技術領域

本發明涉及金融科技(Fintech)的神經網絡技術領域，尤其涉及一種界面邏輯解析方法、裝置、設備及可讀存儲介質。

背景技術

隨著金融科技，尤其是互聯網科技金融的不斷發展，越來越多的技術(如分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，但金融業也對技術提出了更高的要求，如對金融業對應待辦事項的分發也有更高的要求。

隨著計算機軟件和人工智能的不斷發展，界面邏輯解析成為了網頁爬取，RPA自動化等涉及計算機軟件或“機器人”模擬人與數字系統交互的關鍵步驟，在現有技術中，對于網頁，目前通常通過分析網頁腳本獲取網頁元素的名稱屬性等信息以進行界面邏輯解析，對于軟件，目前通常通過系統接口獲取界面上各組件的名稱屬性等信息以進行界面邏輯解析，但是，當網頁腳本接口發生變化或者網頁頁面顯示不穩定時，網頁頁面邏輯就無法穩定獲取，當軟件不提供系統接口時，也無法得到準確的界面邏輯，所以，現有技術中存在界面邏輯解析不準確和不穩定的技術問題。

發明內容

本發明的主要目的在于提供一種界面邏輯解析方法、裝置、設備和可讀存儲介質，旨在解決現有技術中界面邏輯解析不準確和不穩定的技術問題。

為實現上述目的，本發明實施例提供一種界面邏輯解析方法，所述界面邏輯解析方法應用于界面邏輯解析設備，所述界面邏輯解析方法包括：

接收界面圖像，并將所述界面圖像輸入預設界面圖像解析器，以對所述界面圖像進行解析，獲得解析結果；

基于所述解析結果，建立界面元素邏輯關系，并獲取所述解析結果對應的層次劃分結果；

基于所述界面元素邏輯關系和所述層次劃分結果，建立界面完整邏輯模型。

可選地，所述解析結果包括區域目標識別結果、區域目標屬性檢測結果和文字識別檢測結果，

所述基于所述解析結果，建立界面元素邏輯關系的步驟包括：

將所述區域目標識別結果、所述區域目標屬性檢測結果和所述文字識別檢測結果進行合并，獲得界面元素識別檢測結果；

基于預設元素動作庫，為所述界面元素識別檢測結果對應的各個界面元素配置可執行動作，以基于各個所述界面元素對應的可執行動作，建立所述界面元素邏輯關系。

可選地，所述預設界面圖像解析器包括圖像分類模型、圖像目標和屬性檢測模型、圖像分割模型和文字識別檢測模型，所述解析結果包括圖像識別結果、界面區域分割結果、區域目標識別結果、區域目標屬性檢測結果和文字識別檢測結果，

所述將所述界面圖像輸入預設界面圖像解析器，以對所述界面圖像的界面邏輯關系進行解析，獲得解析結果的步驟包括：

將所述界面圖像輸入所述圖像分類模型，以對所述界面圖像進行識別和分類，獲得所述圖像識別結果；

將所述界面圖像輸入所述圖像分割模型，以對所述界面圖像進行界面區域分割，獲得所述界面區域分割結果；

將進行所述界面區域分割后的所述界面圖像輸入所述圖像目標和屬性檢測模型，以對所述界面圖像中的各界面區域進行目標檢測，獲得所述區域目標識別結果和所述區域目標屬性檢測結果；

將進行所述界面區域分割后的所述界面圖像輸入所述文字識別檢測模型，以對各所述界面區域進行文字檢測，獲得所述文字識別檢測結果。