[發明專利]一種H5頁面隨機密碼鍵盤的自動化測試方法

在審

• 申請號: 202110248491.1
• 申請日: 2021-03-05
• 公開（公告）號: CN112906684A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 魏燕芬;李耀;田駿
• 申請（專利權）人: 武漢眾邦銀行股份有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34;G06F40/237
• 代理公司: 成都正煜知識產權代理事務所(普通合伙) 51312
• 代理人: 李龍

1.一種H5頁面隨機密碼鍵盤的自動化測試方法，包括以下步驟：

步驟1：對隨機密碼鍵盤的H5頁面進行截圖，得到圖像imageA；

步驟2：對圖像imageA進行重置圖片的大小、二值化、膨化操作，得到處理后的圖像imageB；

步驟3：對圖像imageB進行OCR識別，得到識別后的反映字符位置數據的字典dictC和字典dictD；

步驟4：對字典dictC進行計算，得到符合長度和符合鍵盤位置的數據字典dictE；

步驟5：對字典dictE和字典dictD進行判斷檢查并計算，得到鍵盤中26個字母的坐標；

步驟6：根據字母的坐標進行對應的鍵盤位置點擊。

2.根據權利要求1所述的一種H5頁面隨機密碼鍵盤的自動化測試方法，其特征在于：所述步驟2包括以下步驟：

步驟2.1：對圖像imageA進行重置圖片的大小，得到標準化尺寸的圖像imageA-1；

步驟2.2：對圖像imageA-1進行圖像二值化計算，得到二值化黑白圖像imageA-2，突出目標字符，去除無關元素；

步驟2.3：對圖像imageA-2進行膨脹處理，得到圖像imageB。

3.根據權利要求1所述的一種H5頁面隨機密碼鍵盤的自動化測試方法，其特征在于：所述步驟3包括以下步驟：

步驟3.1：調用pytesseract.image_to_data()函數對圖像imageB進行OCR識別，得到每一行字符位置數據字典dictC；

步驟3.2：調用pytesseract.image_to_boxes()函數對圖像imageB進行OCR識別，得到每一個字符位置數據字典dictD。

4.根據權利要求1所述的一種H5頁面隨機密碼鍵盤的自動化測試方法，其特征在于：所述步驟4包括以下步驟：

步驟4.1：結合字典dictC和鍵盤的特點，conf＝-1，表示項無文字，則在兩個conf＝-1之間的字符，視為同一行字符，將屬于同一行的字符合并作為“鍵”，當前行字符的位置作為“值”，得到字典dictC-1；

步驟4.2：根據隨機密碼鍵盤的第一、二、三行字符個數在H5頁面的中下頁的位置篩選字典dictC-1中的“鍵”包含小寫字母長度大于等于n，且對應“值”在中下頁的數據，記錄為字典dictE。

5.根據權利要求1所述的一種H5頁面隨機密碼鍵盤的自動化測試方法，其特征在于：所述步驟5包括以下步驟：

步驟5.1：根據鍵盤有有m行字符的特點，判斷字典dictE長度是否等于m，不符合則識別不準確，重復步驟3～步驟4；

步驟5.2：若步驟5.1條件符合，判斷字典dictE包含[a-z]所有26個字母，不符合則識別有誤差，對原始圖像imageA截取其中的鍵盤區域，重復步驟2～步驟4，若符合識別，則進行步驟5.3；

步驟5.3：判斷字典dictE中每個字母只出現1次，對照字典dictD記錄鍵盤中26個字母的坐標，否則說明字母識別有重復的，對重復的字母進行計算，選擇正確的坐標位置后，記錄鍵盤中26個字母的坐標。

6.一種H5頁面隨機密碼鍵盤的自動化測試裝置，包括：

截圖模塊：對隨機密碼鍵盤的H5頁面進行截圖，得到圖像imageA；

圖像處理模塊：對圖像imageA進行重置圖片的大小、二值化、膨化操作，得到處理后的圖像imageB；

OCR識別模塊：對圖像imageB進行OCR識別，得到識別后的反映字符位置數據的字典dictC和字典dictD；

處理模塊：對字典dictC進行計算，得到符合長度和符合鍵盤位置的數據字典dictE；

坐標模塊：對字典dictE和字典dictD進行判斷檢查并計算，得到鍵盤中26個字母的坐標；

點擊模塊：根據字母的坐標進行對應的鍵盤位置點擊。