[發(fā)明專利]界面圖片的識別方法及裝置

在審

• 申請?zhí)枺?/td>: 201811333886.6
• 申請日: 2018-11-09
• 公開（公告）號: CN109542562A
• 公開（公告）日: 2019-03-29
• 發(fā)明（設(shè)計）人: 賀三元
• 申請（專利權(quán)）人: 浙江口碑網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/00
• 代理公司: 北京市浩天知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11276
• 代理人: 宋菲;劉蘭蘭

1.一種界面圖片的識別方法，包括：

獲取待識別的界面圖片；

根據(jù)預(yù)設(shè)的對象識別規(guī)則，確定所述界面圖片中包含的界面對象的對象屬性信息；

根據(jù)所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象；

根據(jù)所述界面圖片中包含的界面對象識別所述界面圖片。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對象識別規(guī)則包括：根據(jù)預(yù)設(shè)的對象識別模型進行識別的規(guī)則；則所述方法執(zhí)行之前，進一步包括：

獲取樣本圖片以及與所述樣本圖片相對應(yīng)的樣本標注信息，根據(jù)預(yù)設(shè)的機器學(xué)習(xí)算法對所述樣本圖片以及與所述樣本圖片相對應(yīng)的樣本標注信息進行訓(xùn)練，以得到所述預(yù)設(shè)的對象識別模型。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述樣本標注信息包括：所述樣本圖片中包含的樣本對象的對象屬性信息；

其中，所述樣本對象的對象屬性信息和/或所述界面對象的對象屬性信息包括以下中的至少一個：對象位置、對象尺寸、對象形狀、對象名稱、對象類型、以及對象結(jié)構(gòu)；其中，所述界面對象包括：組件、和/或控件。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述對象類型包括以下中的至少一個：按鈕類型、輸入框類型、文本類型以及復(fù)合類型；

所述對象結(jié)構(gòu)包括：對象中包含的元素數(shù)量以及各個元素之間的關(guān)系；其中，所述各個元素之間的關(guān)系包括：父子關(guān)系、兄弟關(guān)系、和/或相對位置關(guān)系。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其中，所述根據(jù)所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象包括：

根據(jù)所述界面圖片中包含的界面對象的對象屬性信息，確定所述界面圖片中包含的界面對象的數(shù)量；

分別針對所述界面圖片中包含的每個界面對象，根據(jù)該界面對象的對象屬性信息確定該界面對象在所述界面圖片中的對象區(qū)域，根據(jù)所述對象區(qū)域?qū)υ摻缑鎸ο筮M行識別。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其中，所述界面圖片為程序界面圖片，則所述根據(jù)所述界面圖片中包含的界面對象識別所述界面圖片之后，進一步包括：

根據(jù)預(yù)設(shè)的對象代碼庫，確定所述界面圖片中包含的界面對象的對象代碼，并根據(jù)所述界面圖片中包含的界面對象的對象代碼創(chuàng)建所述與所述界面圖片相對應(yīng)的界面代碼。

7.根據(jù)權(quán)利要求1-6任一所述的方法，其中，所述界面圖片為餐品類界面圖片，所述界面圖片中包含的界面對象為餐品類對象。

8.一種界面圖片的識別裝置，包括：

獲取模塊，適于獲取待識別的界面圖片；

屬性確定模塊，適于根據(jù)預(yù)設(shè)的對象識別規(guī)則，確定所述界面圖片中包含的界面對象的對象屬性信息；

對象識別模塊，適于根據(jù)所述界面圖片中包含的界面對象的對象屬性信息，識別所述界面圖片中包含的界面對象；

圖片識別模塊，適于根據(jù)所述界面圖片中包含的界面對象識別所述界面圖片。

9.一種電子設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如權(quán)利要求1-7中任一項所述的界面圖片的識別方法對應(yīng)的操作。

10.一種計算機存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行如權(quán)利要求1-7中任一項所述的界面圖片的識別方法對應(yīng)的操作。