[發明專利]布局檢測方法和裝置

有效

• 申請號: 202011576492.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112651942B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 梅新巖;劉娟;金道勛;吳龍海;陳潔
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/74
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種布局檢測方法，所述方法包括：

響應于獲取到包括至少一個組件的當前圖像，利用實例分割模型識別所述當前圖像，得到每個組件的包圍盒信息和類別名稱；

基于所述每個組件的包圍盒信息，生成所述當前圖像對應的標記圖像；

將所述每個組件的包圍盒信息、類別名稱和所述標記圖像輸入長短期記憶網絡檢測模型中，輸出所述當前圖像中組件的布局結果，包括：將所述每個組件的包圍盒信息和類別名稱輸入長短期記憶網絡檢測模型中的編碼模型，輸出每個組件對應的文字特征信息；將所述標記圖像輸入長短期記憶網絡檢測模型中的圖像處理模型，輸出所述標記圖像對應的圖像特征信息；將所述文字特征信息和圖像特征信息輸入長短期記憶網絡檢測模型中的解碼模型，輸出所述當前圖像中組件的布局結果，其中，所述布局結果包括所述當前圖像中各個組件之間的排序分組結果。

2.根據權利要求1所述的方法，其中，所述實例分割模型基于以下步驟獲?。?/p>

獲取樣本圖像集，其中，所述樣本圖像集包括至少一張樣本圖像，每張樣本圖像中包括至少一個組件；

確定并標注每張樣本圖像中的各個組件的類別名稱和包圍盒信息；

將每張樣本圖像作為輸入，每張樣本圖像中的各個組件的類別名稱和包圍盒信息作為期望輸出，訓練得到所述實例分割模型。

3.根據權利要求1所述的方法，其中，所述方法還包括：

基于所述當前圖像中組件的布局結果，對存儲的圖像進行狀態相似度搜索，得到多張相似圖像；

比較所述當前圖像和每張相似圖像，判斷所述當前圖像和每張相似圖像是否狀態相同。

4.根據權利要求3所述的方法，其中，所述比較所述當前圖像和每張相似圖像，判斷所述當前圖像和每張相似圖像是否狀態相同，包括：

計算所述當前圖像中組件的布局結果和每張相似圖像中組件的布局結果之間的交并比；

比較所述當前圖像的像素和每張相似圖像的像素，得到所述當前圖像的像素和每張相似圖像的像素之間的比較結果；

將所述交并比和所述比較結果與預設閾值進行比較，判斷所述當前圖像和每張相似圖像是否狀態相同。

5.根據權利要求3或4所述的方法，其中，所述方法還包括：

響應于確定所述當前圖像與所述相似圖像狀態相同，則刪除所述當前圖像；

響應于確定所述當前圖像與所述相似圖像狀態不相同，則存儲所述當前圖像。

6.根據權利要求1所述的方法，其中，所述方法還包括：

響應于獲取到所述當前圖像中組件的布局結果，針對相同布局的各個組件，對所述各個組件的包圍盒信息進行調整操作，得到所述各個組件對應的調整后包圍盒信息。

7.根據權利要求6所述的方法，其中，所述方法還包括：

將所述當前圖像、每個組件的類別名稱和調整后包圍盒信息作為新的樣本圖像集；

基于新的樣本圖像集訓練所述實例分割模型。

8.根據權利要求6所述的方法，其中，所述方法還包括：

響應于獲取到各個組件對應的調整后包圍盒信息，將所述各個組件對應的調整后包圍盒信息和所述布局結果輸入至UI2Code中，得到重復布局代碼。