[發明專利]一種在打開的Chrome瀏覽器中進行自動化操作的方法

在審

• 申請號: 202011259992.1
• 申請日: 2020-11-12
• 公開（公告）號: CN112445994A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 嚴宇平;陳立翼;林俊;錢正浩;蔡徽;李華軍
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/957;G06F8/38;H04L29/08
• 代理公司: 深圳市千納專利代理有限公司 44218
• 代理人: 劉洋

1.一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述在打開的Chrome瀏覽器中進行自動化操作的方法包括以下步驟:

S1:編寫Chrome擴展與MsgHost進程；

S2:配置Chrome瀏覽器，加載步驟1編寫的擴展；

S3:編寫WebSocketServer，與MsgHost的WebSocket通信；

S4:打開Chrome瀏覽器，導航到自動化操作頁面,在Chrome瀏覽器中選擇需要操作的界面元素并保存信息

S5:編寫自動化操作用例。

2.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述Chrome擴展主要作用為獲取所打開網頁的運行時，采用Javascript語言編寫，由Chrome瀏覽器提供一些API，包括輸入輸出通信；瀏覽器對打開的網頁分別定義了Background、Content，分別表示為全局背景頁，所有的網頁打開均會加載Content為當前頁面的上下文，可以通過標準輸入輸出流與應用程序通信。

3.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述步驟S1中MsgHost為與擴展通信的應用程序；采用C#編寫，通過輸入輸出流與擴展通信；可以通過擴展加載網頁事件，實現當鼠標移動到對應網頁上使其高亮顯示、獲取元素區域、位置，也可以發送腳本程序到擴展，執行網頁界面元素中的點擊、滾動、輸入等操作，同時，為了傳輸這些信息，MsgHost還實現了一個WebSocket客戶端。

4.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述步驟S1中MsgHost采用多線程實現；中間采用消息通信，通過讀取程序配置連接到WebSocketServer，將與瀏覽器標準輸入流的消息轉發到WebSocketServer，由WebSocketServer處理保存界面元素的信息、點擊、鍵盤輸入等動作。

5.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述步驟S4中界面元素信息包含所屬網頁、元素類型、以及在界面中的位置；界面中的位置有多種描述形式，如果發現元素ID唯一，那么可以通過ID確定元素；如果發現元素ID不唯一，可以通過xpath或者css層疊樣式表來確定界面元素的層級關系得以定位，并把界面元素特征描述符通過通信輸入輸出流與WebSocket進行發送保存。

6.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：MsgHost還需要實現界面元素的操作方式；通過界面元素描述符與對應的操作動作在界面上觸發鼠標點擊、鍵盤輸入等操作；真正具體操作的執行應用為Chrome擴展插件，當MsgHost收到對應動作請求時會調用擴展執行Javascript腳本。

7.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述步驟S2具體包括：

步驟2.1：打開Chrome瀏覽器，通過“更多工具-擴展程序”進入到擴展程序配置頁；

步驟2.2：在擴展程序配置頁中打開開發者模式；

步驟2.3：選擇“加載已解壓的擴展程序”，加載步驟1編寫的擴展程序。

8.如權利要求1所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述WebSocketServer采用C#編寫，做為MsgHost的服務端，與MsgHost定義了各種RPC遠程調用，主要包含保存界面元素模塊與自動化操作模塊；保存界面元素模塊主要用以定義界面元素信息JSON格式化；自動化操作模塊接收JSON格式化后的界面元素信息做為操作目標參數，用以調用MsgHost中公開暴露的元素操作方法。

9.如權利要求7所述的一種在打開的Chrome瀏覽器中進行自動化操作的方法，其特征在于：所述步驟2.3為了判斷擴展被順利加載，Chrome在啟動時會在Windows注冊表中查詢擴展的相關信息。注冊表中通過擴展的UUID進行標志，在所屬的注冊表項下，有擴展對應的應用程序路徑，Chrome啟動時通過讀取相應信息，以子進程的方式打開擴展應用。