[發明專利]密碼控件定位方法

在審

• 申請號: 202011033647.6
• 申請日: 2020-09-27
• 公開（公告）號: CN112099696A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 劉旭娟
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F9/451;G06K9/34
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 郭會

1.一種密碼控件定位方法，其特征在于，包括以下步驟：

步驟一、啟動APP，當彈出密碼控件界面時，截取密碼控件界面圖片；

步驟二、識別截取到的密碼控件界面圖片，獲取到密碼控件數字的順序；

步驟三、開啟設備的指針位置功能，進行密碼控件按鍵坐標計算；

步驟四、根據密碼控件數字的順序，計算出每個按鍵在屏幕中的位置；

步驟五、定義字典分別將所有的按鍵坐標記錄下來；

步驟六、遍歷定義字典密碼，完成輸入指定密碼，實現密碼的點擊輸入。

2.根據權利要求1所述的密碼控件定位方法，其特征在于，在步驟一中，通過adb命令截取密碼控件界面圖片。

3.根據權利要求1所述的密碼控件定位方法，其特征在于，在步驟二中，識別截取到的密碼控件界面圖片具體包括：

基于OCR圖像識別，通過步驟一中獲取的密碼控件界面圖片，對密碼控件界面圖片進行預處理，二值化去除密碼控件界面圖片背景，得到反映圖像整體和局部特征的圖像；然后進行文本檢測，框選出密碼控件界面圖片中的文本目標區域；選取文本目標區域后，采用模板匹配的方式進行文本識別；最終，實現輸出對應的密碼數字。

4.根據權利要求1所述的密碼控件定位方法，其特征在于，在步驟三中，進行密碼控件按鍵坐標計算具體如下：

點擊設備第一個密碼按鍵中心點區域，記錄設備展示的x，y坐標，以此類推，記錄完所有的按鍵坐標數據。

5.根據權利要求4所述的密碼控件定位方法，其特征在于，在步驟四中，按照百分比的方式計算出每個按鍵在屏幕中的位置，具體包括：

首先，獲取當前設備屏幕大小X，Y，通過步驟三指針位置，記錄按鍵坐標位置x，y；其次，設定相對系數為a，b，密碼控件在當前設備的坐標位置除以當前設備的分辨率即可得相對系數a＝x/X，b＝y/Y；最后，屏幕坐標乘以相對系數即為用戶要點擊位置的具體坐標，即a*X,b*Y。

6.根據權利要求5所述的密碼控件定位方法，其特征在于，在步驟六中，通過Appium點擊事件方法實現密碼的點擊輸入，即driver.tap([{x，y}]，t)，其中，x，y為坐標，t為持續時間。