[發(fā)明專利]布局檢測方法和裝置

有效

• 申請?zhí)枺?/td>: 202011576492.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112651942B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 梅新巖;劉娟;金道勛;吳龍海;陳潔
• 申請（專利權(quán)）人: 三星電子（中國）研發(fā)中心;三星電子株式會社
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/74
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例提供的布局檢測方法和裝置，通過響應(yīng)于獲取到包括至少一個組件的當前圖像，利用實例分割模型識別當前圖像，得到每個組件的包圍盒信息和類別名稱，然后基于每個組件的包圍盒信息，生成當前圖像對應(yīng)的標記圖像，最后將每個組件的包圍盒信息、類別名稱和標記圖像輸入長短期記憶網(wǎng)絡(luò)檢測模型中，輸出當前圖像中組件的布局結(jié)果，該布局結(jié)果包括當前圖像中各個組件之間的排序分組結(jié)果，實現(xiàn)了將圖像中各個組件的布局結(jié)果提取出來，能夠基于組件之間的相互依賴關(guān)系得到各個組件的分組結(jié)果，考慮了當前圖像中各個部分之間的全局信息，提高了布局結(jié)果的準確性。

技術(shù)領(lǐng)域

本公開的實施例涉及計算機技術(shù)領(lǐng)域，尤其涉及布局檢測方法和裝置。

背景技術(shù)

隨著科技不斷進步，軟件測試對于產(chǎn)品開發(fā)和部署有著重要作用，測試人員發(fā)現(xiàn)錯誤，然后開發(fā)人員重新設(shè)計返工修復(fù)，費時費力。

隨著AI在智能設(shè)備上的普及，AI將人類技能和傾向應(yīng)用于無生命的物體或想法，開始以各種方式影響測試自動化，在智能設(shè)備性能測試中，強化學(xué)習(xí)需要記錄每一個動作對應(yīng)的狀態(tài)，即當前的頁面圖片信息，當前的圖片信息中布局相對穩(wěn)定，但是其內(nèi)容卻是在隨著時間，第三方app的更新而不斷刷新的，所以，要比較不同圖片狀態(tài)的異同，需要把圖片的布局信息給提取出來，基于傳統(tǒng)的圖像分割方法，如faster-rcnn，MASK-RCNN，能夠?qū)D片的每個局部進行分割，但是忽略了局部與局部之間的全局信息，如布局對齊方式等。

發(fā)明內(nèi)容

本公開的實施例提出了一種布局檢測方法、裝置、電子設(shè)備和計算機可讀介質(zhì)。

第一方面，本公開的實施例提供了一種布局檢測方法，該方法包括：響應(yīng)于獲取到包括至少一個組件的當前圖像，利用實例分割模型識別當前圖像，得到每個組件的包圍盒信息和類別名稱；基于每個組件的包圍盒信息，生成當前圖像對應(yīng)的標記圖像；將每個組件的包圍盒信息、類別名稱和標記圖像輸入長短期記憶網(wǎng)絡(luò)檢測模型中，輸出當前圖像中組件的布局結(jié)果，其中，布局結(jié)果包括當前圖像中各個組件之間的排序分組結(jié)果。

在一些實施例中，將每個組件的包圍盒信息、類別名稱和標記圖像輸入長短期記憶網(wǎng)絡(luò)檢測模型中，輸出當前圖像中組件的布局結(jié)果，包括：將每個組件的包圍盒信息和類別名稱輸入長短期記憶網(wǎng)絡(luò)檢測模型中的編碼模型，輸出每個組件對應(yīng)的文字特征信息；將標記圖像輸入長短期記憶網(wǎng)絡(luò)檢測模型中的圖像處理模型，輸出標記圖像對應(yīng)的圖像特征信息；將文字特征信息和圖像特征信息輸入長短期記憶網(wǎng)絡(luò)檢測模型中的解碼模型，輸出當前圖像中組件的布局結(jié)果。

在一些實施例中，實例分割模型基于以下步驟獲取：獲取樣本圖像集，其中，樣本圖像集包括至少一張樣本圖像，每張樣本圖像中包括至少一個組件；確定并標注每張樣本圖像中的各個組件的類別名稱和包圍盒信息；將每張樣本圖像作為輸入，每張樣本圖像中的各個組件的類別名稱和包圍盒信息作為期望輸出，訓(xùn)練得到實例分割模型。

在一些實施例中，該方法還包括：基于當前圖像中組件的布局結(jié)果，對存儲的圖像進行狀態(tài)相似度搜索，得到多張相似圖像；比較當前圖像和每張相似圖像，判斷當前圖像和每張相似圖像是否狀態(tài)相同。

在一些實施例中，比較當前圖像和每張相似圖像，判斷當前圖像和每張相似圖像是否狀態(tài)相同，包括：計算當前圖像中組件的布局結(jié)果和每張相似圖像中組件的布局結(jié)果之間的交并比；比較當前圖像的像素和每張相似圖像的像素，得到當前圖像的像素和每張相似圖像的像素之間的比較結(jié)果；將交并比和比較結(jié)果與預(yù)設(shè)閾值進行比較，判斷當前圖像和每張相似圖像是否狀態(tài)相同。

在一些實施例中，該方法還包括：響應(yīng)于確定當前圖像與相似圖像狀態(tài)相同，則刪除當前圖像；響應(yīng)于確定當前圖像與相似圖像狀態(tài)不相同，則存儲當前圖像。

在一些實施例中，該方法還包括：響應(yīng)于獲取到當前圖像中組件的布局結(jié)果，針對相同布局的各個組件，對各個組件的包圍盒信息進行調(diào)整操作，得到各個組件對應(yīng)的調(diào)整后包圍盒信息。