[發(fā)明專利]一種基于機(jī)器人的鍵盤輸入設(shè)備自動(dòng)化測(cè)試方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110239442.1
• 申請(qǐng)日: 2021-03-04
• 公開（公告）號(hào): CN112991282A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 錢巨;周旭
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/73;G06K9/32;G06K9/62;B25J9/02
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 李淑靜

1.一種基于機(jī)器人的鍵盤輸入設(shè)備自動(dòng)化測(cè)試方法，其特征在于，包括以下步驟：

S1，構(gòu)建一套用于鍵盤輸入測(cè)試的機(jī)器人裝置，包括：支撐架、攝像頭、機(jī)械臂、上下點(diǎn)擊器，攝像頭固定于支撐架上，用于捕獲待測(cè)鍵盤的圖像；上下點(diǎn)擊器安裝在機(jī)械臂上，用于敲擊鍵盤；

S2，依托機(jī)器人裝置對(duì)鍵盤進(jìn)行自動(dòng)化測(cè)試，具體步驟包括：

(1)通過視覺感知與智能推測(cè)，自動(dòng)抽取鍵盤按鍵布局信息，構(gòu)造已有鍵盤的鍵盤模型庫；

(2)利用攝像頭獲取待測(cè)鍵盤現(xiàn)場(chǎng)圖像，基于現(xiàn)場(chǎng)圖像和鍵盤模型庫中鍵盤圖像進(jìn)行圖像匹配，若匹配成功，將模型中的鍵盤布局信息映射為當(dāng)前現(xiàn)場(chǎng)鍵盤圖像的像素空間按鍵坐標(biāo)信息，若匹配失敗，對(duì)現(xiàn)場(chǎng)待測(cè)鍵盤重新進(jìn)行鍵盤模型抽??；

(3)將鍵盤像素空間坐標(biāo)轉(zhuǎn)換為物理世界按鍵坐標(biāo)，并通過機(jī)器人觸發(fā)按鍵動(dòng)作，實(shí)現(xiàn)鍵盤輸入自動(dòng)測(cè)試。

2.根據(jù)權(quán)利要求1所述的基于機(jī)器人的鍵盤輸入設(shè)備自動(dòng)化測(cè)試方法，其特征在于，所述步驟S1中，支撐架放置于待測(cè)鍵盤左端，支撐架包括水平軸與垂直軸，在水平軸尾部固定攝像頭，水平軸和豎直軸能夠調(diào)節(jié)攝像頭沿水平和豎直方向移動(dòng)，控制攝像頭拍攝角度，使攝像頭能夠獲取整張待測(cè)鍵盤圖像；機(jī)械臂放置于待測(cè)鍵盤前部且靠近整張鍵盤的中間位置，保證機(jī)械臂能夠點(diǎn)擊到鍵盤中的按鍵，機(jī)械臂末端安裝上下點(diǎn)擊器用于敲擊鍵盤。

3.根據(jù)權(quán)利要求1所述的基于機(jī)器人的鍵盤輸入設(shè)備自動(dòng)化測(cè)試方法，其特征在于，所述步驟(1)包括：

(101)通過攝像頭獲取鍵盤圖像，針對(duì)鍵盤圖像構(gòu)造初始鍵盤模型，一個(gè)鍵盤模型由鍵盤圖像、鍵塊劃分以及按鍵坐標(biāo)映射構(gòu)成，表達(dá)為M＝Regions，Image，KeyMap，其中Regions代表鍵塊，指鍵盤上按鍵位置相鄰且布局符合一定規(guī)律性特征的區(qū)域；

KeyMap代表按鍵坐標(biāo)映射，指鍵盤按鍵與鍵盤圖像Image上像素坐標(biāo)之間的一一對(duì)應(yīng)關(guān)系；初始鍵盤模型包含給定的鍵塊信息、鍵盤圖像，KeyMap暫時(shí)待填充；

(102)對(duì)鍵盤圖像進(jìn)行灰度化和中值濾波處理，再應(yīng)用輪廓檢測(cè)算法在鍵盤圖像中檢測(cè)出若干輪廓；

(103)在檢測(cè)出的輪廓中篩選出長寬比例大于指定閾值的輪廓，作為候選字母鍵或數(shù)字鍵輪廓，對(duì)篩選出的候選輪廓進(jìn)行OCR文字識(shí)別，得到輪廓中的內(nèi)容以及輪廓長、寬和左上角坐標(biāo)信息，并以此計(jì)算像素空間中按鍵中心的坐標(biāo)位置；

(104)對(duì)于文字不可識(shí)別的按鍵，由可識(shí)別按鍵與初始鍵盤模型中的鍵塊信息，獲取可識(shí)別按鍵在鍵塊中的行、列索引，并計(jì)算相鄰按鍵的行間距和/或列間距，基于可識(shí)別的按鍵坐標(biāo)位置、按鍵在鍵塊中的行列索引以及相鄰按鍵行間距/列間距，推測(cè)不可識(shí)別按鍵在鍵盤圖像中的像素坐標(biāo)位置；

(105)根據(jù)直接識(shí)別的按鍵信息和推測(cè)所得的不可識(shí)別按鍵信息，對(duì)鍵盤模型進(jìn)行填充，得到包括鍵盤中所有的按鍵像素坐標(biāo)信息的完整鍵盤模型。

4.根據(jù)權(quán)利要求3所述的基于機(jī)器人的鍵盤輸入設(shè)備自動(dòng)化測(cè)試方法，其特征在于，所述步驟(101)中按鍵坐標(biāo)映射表示為：

KeyMap：：Images×Keys→Coordinates

其中Images表示作為按鍵坐標(biāo)映射基礎(chǔ)的鍵盤圖像，Keys表示鍵盤按鍵集合，Coordinates表示圖像中的坐標(biāo)點(diǎn)。