[發明專利]一種基于模擬輸入和圖像分析的自動控制軟件技術

無效

• 申請號: 200710064888.5
• 申請日: 2007-03-28
• 公開（公告）號: CN101276270A
• 公開（公告）日: 2008-10-01
• 發明（設計）人: 張斌;張登科
• 申請（專利權）人: 張登科
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種基于模擬輸入和圖像分析的自動控制軟件技術，具體說涉及一種通過模擬鼠標輸入、鍵盤輸入結合計算機屏幕圖像分析來實現自動控制操作系統和其他軟件的軟件技術。

背景技術

通常，我們使用電腦時都是通過人工控制鼠標和鍵盤來完成各項操作。但是我們使用的軟件往往沒有可用的控制接口，無法用常規編程辦法對這些軟件進行自動控制。而有時對這些軟件的自動控制顯得很有必要，例如大量重復性工作，需要暫時離開，因運行時間過長而無耐心等待等等情況，這時，通過人工操作的方式就存在很大的不足。對此，本發明提供了一種可行的解決方案。

發明內容

本發明所解決的技術問題是提供一種通過模擬鼠標輸入、鍵盤輸入結合計算機屏幕圖像分析來自動控制操作系統和其他軟件的軟件技術，可以用于自動化辦公、軟件操作自動演示和間接實現程序間的接口編程等。

本發明的技術方案如下：

目前，很多編程語言都提供了應用程序接口函數(API)以及一些與鍵盤、鼠標輸入相關的方法，在這些函數或方法里提供了控制鼠標位置、鼠標事件以及模擬鍵盤輸入的的函數或方法。另外，還有一些函數或方法可以讀取和控制操作界面上各個窗體的位置，大小，以及控制窗體的最大化、最小化以及激活等。利用這些函數和方法，結合對屏幕的圖像分析可以完成對操作系統和其他軟件的自動控制。圖像分析的作用在于判斷系統或其他操作對象的當前狀態、獲取欲操作對象的位置信息以及判斷自動控制的操作結果是否與預期目標一致。其中，計算機屏幕圖像可以通過讀取內存中相應數據來獲取，也可以通過外接攝像設備來攝取。

具體實施方式

本發明可以采用多種編程語言來實現，下面用C#語言提供的函數和方法來簡單描述一下實現過程。

本發明優選實施例之一

實現QQ自動登陸

QQ是Tencent公司開發的一種用于網絡聊天的軟件，它的登陸界面一般包括兩個輸入框和兩個按鈕。其中，兩個輸入框分別用于輸入用戶名和密碼，兩個按鈕分別用于確定輸入和取消登陸。登陸程序運行時一般出現在屏幕正中位置，兩個輸入框和兩個按鈕在登陸框中的位置是固定的。

為了實現自動控制登陸的目的，首先要啟動QQ程序，一種辦法如下：

(1)在已知程序文件所在位置時，通過調用API函數WinExe來啟動程序。

(2)然后通過設置等待延時或者通過計算機屏幕圖像分析確定該程序已經成功啟動。

(3)這一步的目的是獲取輸入框和按鈕的位置，可以采取的辦法有三種：

1>獲取計算機屏幕大小，然后獲取程序的句柄，通過句柄調用API函數GetWindowRect獲取窗體大小和窗體位置，由于兩個輸入框和兩個按鈕在登陸框中的位置是固定的，可以計算出兩個輸入框和兩個按鈕的位置。

2>通過API函數SetWindowPos設置窗體的位置到屏幕某一處，由于兩個輸入框和兩個按鈕在登陸框中的位置是固定的，可以計算出兩個輸入框和兩個按鈕的位置。

3>直接通過計算機屏幕圖像分析所需控制的輸入框和按鈕的位置。

(4)控制鼠標移動到輸入用戶名的輸入框位置，模擬鼠標左鍵單擊事件設置選中輸入框，然后模擬鍵盤輸入設定的用戶名，同樣的方法輸入密碼。

(5)通過計算機屏幕圖像分析確認輸入成功。

(6)控制鼠標移動到確定按鈕的位置，通過模擬鼠標左鍵單擊事件點擊登陸。

對于登陸框位置和兩個輸入框和兩個按鈕位置的確定通過圖像分析的辦法來實現，這對于那些控件位置不確定的程序來說尤為重要。

本發明優選實施例之二

實現兩個程序之間的數據交換

假設有兩個應用程序A和B，應用程序A需要利用應用程序B來進行一些計算。但是應用程序B并沒有提供一個可用的接口，只是提供了一個用戶界面，可以在此界面上輸入已知參數，然后點擊按鈕開始計算。在這種情況下也可以在應用程序A中采用優選實施例之一所述方法來實現對應用程序B的操作。

本發明優選實施例之三

可以編寫一個完整的自動控制軟件來實現對操作系統和其他軟件的自動控制。所述自動控制軟件提供一個控制臺程序，要實現豐富的功能，可以制作針對各種常用軟件的插件，在這些插件里定義了對這些軟件的控制方法，并且可以被所述控制臺程序識別。在裝載了這些插件之后，我們就可以在所述自動控制軟件中定義對相應軟件的操作。