[發明專利]基于界面草圖的應用檢索方法和裝置

有效

• 申請號: 202010050903.6
• 申請日: 2020-01-17
• 公開（公告）號: CN111273905B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 潘敏學;張天
• 申請（專利權）人: 南京大學
• 主分類號: G06F8/38
• 分類號: G06F8/38;G06F9/445;G06F16/901;G06F18/22
• 代理公司: 江蘇銀創律師事務所 32242
• 代理人: 孫計良

本發明公開了基于界面草圖的應用檢索方法和裝置。該方法對輸入的圖像進行預處理后，通過對預處理后的圖像進行遞歸分割，對各分割后的圖像識別邊緣矩形框，然后識別邊緣矩形框內的圖元標識，根據圖元標識對應的控件種類識別出各種類型的控件，并根據邊緣矩形框的位置確定該控件在界面上的位置，結合遞歸的層次關系組成用以表示控件間的層次布局的控件布局樹，然后將該生產的控件布局樹與應用庫中各應用對應的控件布局樹進行布局樹相似度值計算，根據布局樹相似度值是否大于閾值得到匹配的應用。軟件研發人員可以依據本發明的方法和裝置檢索相似的界面的應用，為設計軟件圖形應用界面提供便利。

技術領域

本發明涉及軟件圖形界面設計領域，特別涉及基于應用UI界面的應用檢索。

背景技術

在軟件開發中，圖形用戶界面非常重要。一個具有豐富且交互友好用戶圖形界面的軟件更容易被用戶所接受和青睞。在移動應用軟件或者在臺式桌面應用軟件中，友好的用戶圖形界面在市場上具有更強的市場競爭力。為軟件設計友好的用戶圖形界面需要耗費很多精力和資源。雖然目前各種應用軟件開發平臺大都支持圖形界面控件拖拽式的所見即所得的圖形界面生成平臺。然而，這種拖拽的圖形界面生成平臺往往需要進行復雜的環境配置，這是一種重量級的應用背景，而這些行為不僅對圖形界面設計的空間場景有較高要求，且需要用戶具有領域內一定的先驗知識。

如何評價圖形用戶界面好壞對設計人員來說是一個重大問題。一種非常好的思路是，軟件設計人員可以根據設計好的圖形用戶界面進行應用檢索，根據檢索到的應用結果可以評價所設計的圖形用戶界面是否符合用戶一般的操作習慣，是否符合美學潮流。另一方面，設計人員也可以根據檢索到的結果參考其他關聯頁面的設計，由此可以大大提高軟件開發圖形用戶界面設計的效率。當然，軟件設計人員在設計階段不可能根據已經開發完成的應用提取圖形用戶界面進行檢索，因此，根據圖形用戶界面進行應用檢索時，最好能夠根據圖形界面草圖進行應用檢索。草圖作為人類自然溝通的一種重要方式，保存了思維的核心，有利于創造性思維的快速表達。通過圖形界面草圖進行應用檢索，并通過圖形界面草圖進行圖形用戶界面建模將大大提高軟件應用開發設計人員的效率。

發明內容

本發明所要解決的問題：設計一種基于圖形界面的應用檢索系統，特別是，基于圖形界面草圖的應用檢索系統，為軟件開發設計人員設計用戶圖形界面提供便利。

為解決上述問題，本發明采用的方案如下：

根據本發明的基于界面草圖的應用檢索方法，該方法包括如下步驟：

S1：對輸入的圖像進行預處理；所述預處理包括依次進行的灰度化處理步驟、二值化處理步驟、去噪聲處理步驟、以及線體單像素細化步驟；

S2：對圖像進行遞歸分析處理，生成控件布局樹；

S3：將所生成的控件布局樹與應用庫中各應用對應的控件布局樹分別做相似度比較，計算相應的布局樹相似度值；

S4：選取布局樹相似度值超過預先設定閾值的應用；

所述步驟S2包括：

S21：對圖像進行連續性分割，得到圖像分割塊和所述圖像分割塊的位置信息；

S22：識別所述圖像分割塊的邊緣矩形框；

S23：若所述圖像分割塊能夠識別到邊緣矩形框，則將所述圖像分割塊清除所述邊緣矩形框后得到的圖像作為步驟S2的輸入轉步驟S2進行遞歸；

S24：若所述圖像分割塊未能識別到邊緣矩形框，則識別所述圖像分割塊內的圖元標識；所述圖元標識是用于區分控件種類的標識圖像；每一種控件種類對應特定的圖元標識；

S25：根據識別到的圖元標識和所述圖像分割塊所對應的邊緣矩形框確定控件種類，結合所述圖像分割塊的位置信息，組成控件布局樹節點，進而構建相應的控件布局樹；

所述步驟S3包括：