[發明專利]基于圖像的應用自動化

有效

• 申請號: 201280068226.4
• 申請日: 2012-01-26
• 公開（公告）號: CN104246696B
• 公開（公告）日: 2017-10-20
• 發明（設計）人: D·薩羅尼;M·賈默;Y·利夫尼;M·蘭斯克倫
• 申請（專利權）人: 惠普發展公司;有限責任合伙企業
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 史迎雪,康泉

1.一種基于圖像的應用自動化系統，包括：

事件檢測模塊，用以在記錄階段期間檢測與圖形用戶界面相關的輸入事件；

圖像生成模塊，用以在所述記錄階段期間生成圖像，所述圖像中的每一個圖像包括圖形用戶界面的至少一部分；以及

關聯模塊，用以在所述記錄階段期間將來自該圖像的多個圖像與來自輸入事件的輸入事件關聯；

選擇模塊，用于在所述記錄階段期間，輸出包含所述多個圖像的選擇界面至顯示器，響應于用戶輸入從所述多個圖像中選擇圖像；

該關聯模塊進一步用于，在所述記錄階段期間，從所述多個圖像中指定所述圖像作為所述輸入事件的目標；定義標識所述輸入事件和所述目標的自動化動作，所述自動化動作在重放階段期間被重放。

2.如權利要求1所述的系統，進一步包括：

圖像儲存庫，關聯模塊在圖像儲存庫存儲多個圖像。

3.如權利要求1所述的系統，其中：

輸入事件與該圖形用戶界面的圖形用戶界面元素相關；并且

該多個圖像包括包含處于第一狀態的圖形用戶界面元件的至少一部分的第一圖像，以及包含處于第二狀態的圖形用戶界面元件的至少一部分的第二圖像。

4.一種基于圖像的應用自動化的方法，包括：

在記錄階段期間，檢測與圖形用戶界面元件相關的輸入事件；

在所述記錄階段期間，將包含至少一部分圖形用戶界面元件的多個圖像與該輸入事件關聯；

在所述記錄階段期間，從所述多個圖像中指定圖像作為輸入事件的目標；

在所述記錄階段期間，定義標識所述輸入事件和所述目標的自動化動作，所述自動化動作在重放階段期間被重放；

其中，從所述多個圖像中指定圖像作為輸入事件的目標包括：

輸出包含所述多個圖像的選擇界面至顯示器；

響應于用戶輸入從所述多個圖像選擇圖像；以及

從所述多個圖像指定該圖像作為輸入事件的目標。

5.如權利要求4所述的方法，進一步包括：

捕獲多個圖像；

該多個圖像包括在輸入事件前捕獲的至少一個圖像，響應于該輸入事件捕獲的至少一個圖像，以及在該輸入事件之后捕獲的至少一個圖像。

6.如權利要求4所述的方法，進一步包括：

從該多個圖像指定第一圖像作為輸入事件的目標；

響應于用戶輸入從該多個圖像選擇第二圖像；以及

從多個圖像指定第二圖像作為輸入事件的目標。

7.如權利要求4所述的方法，其中來自多個圖像的第一圖像包括處于第一狀態的圖形用戶界面元件的至少一部分，以及來自多個圖像的第二圖像包括處于第二狀態的圖形用戶界面元件的至少一部分；

該方法進一步包括：

從多個圖像中指定一圖像作為該輸入事件的目標；

響應于用戶輸入從該多個圖像選擇第二圖像；以及

從多個圖像指定第二圖像作為輸入事件的目標。