[發(fā)明專利]基于圖像的應用自動化

有效

• 申請?zhí)枺?/td>: 201280068226.4
• 申請日: 2012-01-26
• 公開（公告）號: CN104246696B
• 公開（公告）日: 2017-10-20
• 發(fā)明（設計）人: D·薩羅尼;M·賈默;Y·利夫尼;M·蘭斯克倫
• 申請（專利權）人: 惠普發(fā)展公司;有限責任合伙企業(yè)
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 史迎雪,康泉

背景技術

一些基于圖像的應用(或軟件)自動化系統(tǒng)典型地包括記錄階段和回放階段。在記錄階段期間，基于圖像的應用自動化系統(tǒng)記錄將在回放階段期間被自動化的應用的動作。例如，基于圖像的應用自動化系統(tǒng)在圖形用戶界面檢測輸入事件并響應于每個輸入事件捕獲該圖形用戶界面的圖像。通常，基于圖像的應用自動化系統(tǒng)之后為每個輸入事件定義指定該輸入事件的圖像的自動化動作，而且在記錄階段期間定義的自動動作存儲在腳本文件內。

在回放階段期間，基于圖像的應用自動化系統(tǒng)執(zhí)行在記錄階段期間記錄的動作。例如，基于圖像的應用自動化系統(tǒng)能夠識別腳本文件中的自動化動作并重放該指定在自動化動作中的輸入事件。即，對于每個自動化動作，該基于圖像的應用自動化系統(tǒng)識別與那個自動化動作中指定的圖像匹配的應用的圖形用戶界面的一部分，并執(zhí)行該應用的那一部分處的輸入事件。

附圖說明

圖1是根據實施方式關聯一組圖像和輸入事件的方法流程圖。

圖2A是根據實施方式對具有處于第一狀態(tài)的圖形用戶界面元件的一部分圖形用戶界面的圖示。

圖2B是根據實施方式對具有處于第二狀態(tài)的圖形用戶界面元件的圖2A的一部分圖形用戶界面的圖示。

圖2C是根據實施方式對具有處于第三狀態(tài)的圖形用戶界面元件的圖2A和2B的一部分圖形用戶界面的圖示。

圖3A是根據實施方式對包括圖2A的圖形用戶界面元件的圖像的圖示。

圖3B是根據實施方式對包括圖2B的圖形用戶界面元件的圖像的圖示。

圖3C是根據實施方式對包括圖2C的圖形用戶界面元件的圖像的圖示。

圖4是根據實施方式的基于圖像的應用自動化系統(tǒng)的示意性框圖。

圖5是根據實施方式的主控基于圖像的應用自動化系統(tǒng)的計算設備的示意性框圖。

圖6是根據實施方式的關聯一組圖像和輸入事件的方法流程圖。

圖7A和7B是根據實施方式的用以選擇圖像作為輸入事件的目標的圖形用戶界面的圖示。

具體實施方式

基于圖像的應用(軟件)自動化系統(tǒng)在其不能把與輸入事件相關的圖像和圖形用戶界面的一部分匹配時會經受失敗。例如，輸入事件可與具有多個狀態(tài)(例如，可視化外觀)的圖形用戶界面元件相關(或被在其處執(zhí)行)。作為特定例子，輸入事件可與按鈕控件相關，當光標(例如鼠標指針)沒有在該按鈕控件上停懸時按鈕控件具有第一可視外觀，而當光標在該按鈕控件上停懸時按鈕控件具有第二可視外觀。相應的，響應于諸如在按鈕控件的鼠標按鈕按下輸入事件的輸入事件而被捕捉的該按鈕控件的圖像將包括處于第二可視外觀(或狀態(tài))的按鈕控件，因為在鼠標按鈕按下輸入事件在按鈕控件執(zhí)行時，該鼠標指針停懸在該按鈕控件上。

然而，在重放階段期間，當基于圖像的應用自動化系統(tǒng)試圖重放包括在按鈕控件處的鼠標按鈕按下輸入事件的自動化動作(例如，重放在自動化動作處指定的鼠標按鈕按下輸入事件)時，鼠標指針可能當時沒有停懸在按鈕控件之上。結果是，按鈕控件處于第一可視外觀，但該鼠標按鈕按下輸入事件的圖像包括處于第二可視外觀的按鈕控件。因此，基于圖像的應用自動化系統(tǒng)很可能無法匹配該圖像和該按鈕控件，并且對于這次自動化動作重放階段將失敗。

一些基于圖像的應用自動化系統(tǒng)提供一種允許用戶(諸如測試工程師)向基于圖像的應用自動化系統(tǒng)提供圖像作為由該基于圖像的應用自動化系統(tǒng)生成的(或捕獲的)圖像的替代品的機制。例如，在上述的失敗后，用戶能手動生成圖像，其包括處于第一可視外觀的按鈕控件，并將該圖像提供給基于圖像的應用自動化系統(tǒng)作為由該基于圖像的應用自動化系統(tǒng)生成的圖像的替代。

然而，這樣的過程對于用戶是耗時的。例如，用戶可能被要求操縱該應用來顯示該處于第一可視外觀的按鈕控件，生成該應用的屏幕快照圖像，之后編輯(或修裁或重定義尺寸)該屏幕快照圖像來產生圖像來替換由該基于圖像的應用自動化系統(tǒng)生成的圖像。

此處討論的實施方式把多個圖像與輸入事件關聯。例如，包括在基于圖像的應用自動化系統(tǒng)的記錄階段期間輸入事件被執(zhí)行于其處的圖形用戶界面元件的多個圖像在不同時間被捕獲，并且被該輸入事件的自動化動作識別(或參考)。額外的，此處討論的實施方式允許用戶規(guī)定多個圖像中的哪個應被用于識別該輸入事件應被執(zhí)行于其處的圖形用戶界面的一部分(例如，該圖形用戶界面元件)。相應的，例如，用戶可從一組由該基于圖像的應用自動化系統(tǒng)生成并與輸入事件關聯的的圖像中選擇圖像，作為該輸入事件的目標，而不是提供用戶生成的圖像。