[發明專利]目標應用的操作錄制方法和裝置

有效

• 申請號: 201911215723.2
• 申請日: 2019-12-02
• 公開（公告）號: CN111124567B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 張婧;高威;方李志
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06F3/0488;G06F3/0484;G06F11/36;A63F13/60
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周婷婷

本發明公開了一種目標應用的操作錄制方法和裝置。其中，該方法包括：通過第二終端上的錄制客戶端上獲取第一終端上的目標應用的第一原始應用畫面；在錄制客戶端上將第一原始應用畫面縮小到第一目標應用畫面；在錄制客戶端上獲取對第一目標應用畫面中的第一目標對象執行的第一目標觸控操作；在錄制客戶端上將第一目標錄制信息記錄在錄制腳本中，第一目標錄制信息包括第一目標對象在第一目標應用畫面中的第一圖片、和第一目標操作信息，第一目標操作信息用于表示對第一目標對象執行的第一目標觸控操作。本發明解決了現有技術中，目標應用的操作的單一性，導致在回放錄制目標應用的操作過程中出現的回放不精確的技術問題。

技術領域

本發明涉及計算機領域，具體而言，涉及一種目標應用的操作錄制方法和裝置。

背景技術

現有關于Windows應用的腳本錄制回放的技術主要是通過控件樹遍歷控件，或者圖像處理的方式找到目標點，然后結合Windows鼠標鍵盤事件實現具體操作。以UIAutomation為代表，都是通過控件樹的方式獲取應用的布局，然后通過控件在控件樹中的路徑定位控件。后來隨著圖像技術的發展，出現了以SikuliX為代表的通過圖像定位控件的測試技術。

由于端游的實現方式和防外掛機制，端游客戶端無法像普通的PC應用一樣，通過注入、hook等方式獲取應用窗體結構，因此，不能通過定位控件的方式實現自動化；游戲為了防止外掛影響游戲的公平性和平衡性，會對游戲進行安全防護，使得無法通過常用的方式在游戲內調用鍵盤鼠標事件，SikuliX就無法對某些進行安全防護的游戲進行腳本回放。

由于端游功能自動化測試的腳本錄制方案比較少，兼容性以及使用率都不高。主要的困難包括以下幾點：(1)端游的防外掛機制使得一般的鍵盤、鼠標在端游客戶端內無法操作；(2)由于端游的防外掛機制，端游客戶端無法像普通的PC應用一樣，通過注入、hook等方式獲取應用窗體結構，因此不能通過定位控件的方式實現自動化；(3)各類游戲的分辨率、電腦屏幕的分辨率有多種，圖像查找效果不好。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種目標應用的操作錄制方法和裝置，以至少解決現有技術中，目標應用的操作的單一性，導致在回放錄制目標應用的操作過程中出現的回放不精確的技術問題。

根據本發明實施例的一個方面，提供了一種目標應用的操作錄制方法，包括：在錄制客戶端上獲取目標應用的第一原始應用畫面，其中，所述目標應用運行在第一終端上，所述錄制客戶端運行在第二終端上，所述錄制客戶端與所述第一終端建立了連接；在所述錄制客戶端上將所述第一原始應用畫面縮小到第一目標應用畫面，其中，所述第一目標應用畫面的尺寸為預定的目標尺寸；在所述錄制客戶端上獲取對所述第一目標應用畫面中的第一目標對象執行的第一目標觸控操作；在所述錄制客戶端上將第一目標錄制信息記錄在錄制腳本中，其中，所述第一目標錄制信息包括所述第一目標對象在所述第一目標應用畫面中的第一圖片、和第一目標操作信息，所述第一目標操作信息用于表示對所述第一目標對象執行的所述第一目標觸控操作。

根據本發明實施例的另一方面，還提供了一種目標應用的操作錄制裝置，包括：第一獲取單元，用于在錄制客戶端上獲取目標應用的第一原始應用畫面，其中，所述目標應用運行在第一終端上，所述錄制客戶端運行在第二終端上，所述錄制客戶端與所述第一終端建立了連接；縮放單元，用于在所述錄制客戶端上將所述第一原始應用畫面縮小到第一目標應用畫面，其中，所述第一目標應用畫面的尺寸為預定的目標尺寸；第二獲取單元，用于在所述錄制客戶端上獲取對所述第一目標應用畫面中的第一目標對象執行的第一目標觸控操作；錄制單元，用于在所述錄制客戶端上將第一目標錄制信息記錄在錄制腳本中，其中，所述第一目標錄制信息包括所述第一目標對象在所述第一目標應用畫面中的第一圖片、和第一目標操作信息，所述第一目標操作信息用于表示對所述第一目標對象執行的所述第一目標觸控操作。