[發明專利]基于頁面圖像識別的測試方法、系統、設備、介質、產品

在審

• 申請號: 202210154578.7
• 申請日: 2022-02-18
• 公開（公告）號: CN114528216A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 翁叢
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/957
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

1.一種基于頁面圖像識別的測試方法，其特征在于，包括如下步驟：

獲取頁面控件的類型、以及頁面控件的特征屬性；

根據案例中指定的所述頁面控件的類型和所述頁面控件的特征屬性，利用控件識別功能在頁面中找到對應的控件；

再依據案例中指定的動作執行對應的空間操作，從而實現案例的執行。

2.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，所述頁面控件的類型包括按鈕、輸入框、復選框、單選按鈕、鏈接。

3.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，所述頁面控件的特征屬性包括文字、顏色、是否可用。

4.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，所述空間操作包括單擊、拖拽。

5.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，所述獲取頁面控件的類型、以及頁面控件的特征屬性的步驟包括：

通過CNN算法對頁面內容的圖像進行識別分類，區分出各種頁面控件。

6.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，所述再依據案例中指定的動作執行對應的空間操作，從而實現案例的執行的步驟包括：

通過CNN算法識別頁面中的指定控件并模擬鍵盤或鼠標輸入對控件進行操作。

7.如權利要求1所述的基于頁面圖像識別的測試方法，其特征在于，在所述再依據案例中指定的動作執行對應的空間操作，從而實現案例的執行的步驟之后還包括：

判斷案例運行是否成功；

如果成功，則操作后保留頁面截圖用于后續學習；

如果失敗，則不保留頁面截圖。

8.一種基于頁面圖像識別的測試系統，其特征在于，包括：

控件識別模塊，用以對頁面內容的圖像進行識別分類；

案例執行模塊，用以依據案例中指定的動作執行對應的操作，從而實現案例的執行。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

其中，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器執行根據權利要求1～7中任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有可執行指令，該指令被處理器執行時使處理器執行根據權利要求1～7中任一項所述的方法。

11.一種計算機程序產品，其特征在于，包括計算機程序，所述計算機程序被處理器執行時實現根據權利要求1～7中任一項所述的方法。