[發明專利]基于草圖的移動應用模型查詢方法

有效

• 申請號: 202110339294.0
• 申請日: 2021-03-30
• 公開（公告）號: CN113010741B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 潘敏學;張天;解溫特
• 申請（專利權）人: 南京大學
• 主分類號: G06F16/83
• 分類號: G06F16/83;G06F16/903
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張蘇沛

本發明屬于軟件工程領域與計算機視覺領域，具體為一種基于草圖的移動應用模型查詢方法，預定義的草圖模型語言為一組基于IFML設計的移動應用布局控件符號語言，且已經建立了一個按照IFML模型規則設計的多維數據融合軟件資產庫(AppRepo)；具體步驟為：用戶在紙上根據預定義語言繪制的多UI跳轉草圖作為本發明的輸入，經過預設的識別技術獲得草圖內靜態UI與動態跳轉信息；其次通過靜態草圖UI與庫中UI的基本相似性計算結合T步相似性更新定位錨點后，將草圖模型與庫中模型進行相似度排名；最后模型相似度排名靠前的移動應用結果即為本方法的輸出；本方法能有效地將一張多UI跳轉草圖匹配到一個移動應用的全部或局部。

技術領域

本發明屬于軟件工程領域與計算機視覺領域。本發明涉及移動應用UI動靜態領域內信息與圖像的特征提取技術，具體設計一種基于草圖的移動應用模型查詢方法。

背景技術

軟件復用與測試腳本生成已經成為工業界非常重視的問題，這些工作可以促使效率的提升與人力資源成本的減少，因此這些領域也引起了研究人員的興趣。這些問題能夠讓研究者對移動應用有更廣、更深的理解，同時對應用中的功能進行分析后方便進一步探索功能的可用性，以此為軟件測試等領域提供更多可能性，開拓更多研究方向。

在我們已有的移動應用軟件資產庫的基礎上，如何能快速定位目的應用與應用內局部UI間的信息是實現軟件復用與測試腳本生成等研究的核心，這也即是一種查詢研究。在傳統的查詢研究領域，往往通過一些如關鍵詞等描述性語義文本信息進行匹配，這種方式類似于搜索引擎原理的實現。然而，文本信息對于UI中各種控件位置、布局以及UI間動態跳轉信息難以準確描述，即使能夠描述，也難以對這些復雜的語義信息進行匹配研究。此外，對于不了解的應用或方向無法用語言描述，因此僅通過關鍵字等語義查詢方式限制了查詢的數據范圍。

在這樣的背景下，利用草圖查詢走進研究者的視野，因為草圖的便捷性不僅能夠利用圖畫多種多樣的表達方式來描述復雜UI信息，還能夠給查詢者節約時間，他們無需太多先驗領域知識即可利用草圖形式繪制出查詢的目標。一些研究者提出利用電子版或手寫板等設備進行草圖繪制并查詢，這些方式都需要指定的軟件平臺與設備作為基礎支撐，查詢者若需查詢則還需進行較多提前準備，也即是較為重量級，在快捷、簡單、方便的輕量級場景下查詢需求難以被滿足。此外，大多工作針對某個UI在庫中的查詢，多個UI之間的關系無法同時獲得，因此依然沒有動態跳轉信息的UI模型查詢研究。

若能夠利用紙上繪制的多UI間動態跳轉草圖拍照后識別，利用這些信息在庫中做相應的查詢，則無需過多提前準備且無需特殊設備的“輕量級”場景下的模型查詢便可以做到。在發明之前我們已經獲得一種“輕量級”草圖描述方式并對草圖的內容識別存儲，因此如何能利用我們已有的草圖識別結果將每個草圖UI定位到庫中并將UI間關系同時映射到庫中是模型查詢研究的關鍵。基于此，本發明提出的查詢方法能夠將草圖UI進行較準確定位并提供模型間跳轉關系的映射，同時對草圖模型與庫中的映射模型進行模型間對比以找到較符合用戶需求的移動應用全局或局部信息。

發明內容

本發明的目的在于針對軟件復用與測試腳本生成方面對于移動應用快速查詢的需求，提出了一種基于草圖的移動應用模型查詢方法，通過一系列算法將用戶繪制的多UI跳轉草圖轉換為查詢語言并提供大量移動應用數據資產庫中的查詢服務，旨在解決現有工作中移動應用UI查詢方式偏語義級理解、對用戶查詢場景有要求以及傳統查詢方式較為耗時等問題。

為了實現上述目的，本發明所采用的的技術方案是：一種基于草圖的移動應用模型查詢方法，包含如下步驟：

1)本方法執行前預設一種草圖建模語言的規范，給出了一組常見移動應用開發控件的草圖畫法，且已經提供了針對草圖多種信息的識別方法。同時還提供了一個基于IFML規范設計的移動應用資產庫AppRepo。用戶根據所提供的草圖建模語言繪制的手繪多UI跳轉草圖通過預設的識別方法生成草圖的靜態與動態信息，作為方法的輸入。