[發(fā)明專(zhuān)利]一種基于機(jī)器視覺(jué)的自動(dòng)化測(cè)試作業(yè)方法、機(jī)器人及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310371360.1
• 申請(qǐng)日: 2023-04-10
• 公開(kāi)（公告）號(hào): CN116087671B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 肖燕;鄧波;張全良
• 申請(qǐng)（專(zhuān)利權(quán)）人: 長(zhǎng)沙艾克賽普儀器設(shè)備有限公司
• 主分類(lèi)號(hào): G01R31/00
• 分類(lèi)號(hào): G01R31/00;G01R1/04;G06V10/56;G06V10/25;G06V10/44;G06V10/82;G06V30/148;H01R43/26;B25J9/16;B25J19/00
• 代理公司: 北京易捷勝知識(shí)產(chǎn)權(quán)代理有限公司 11613
• 代理人: 岑海梅

1.一種基于機(jī)器視覺(jué)的自動(dòng)化測(cè)試作業(yè)方法，其特征在于，包括：

基于自動(dòng)接線(xiàn)的指示信息構(gòu)建置于環(huán)境箱中的待測(cè)試設(shè)備與測(cè)試臺(tái)之間的信號(hào)通道；或，

基于自動(dòng)拆線(xiàn)的指示信息拆除自動(dòng)配置的置于環(huán)境箱中的所述待測(cè)試設(shè)備與所述測(cè)試臺(tái)之間的信號(hào)通道；以及，

在信號(hào)通道有效時(shí)間段內(nèi)，基于狀態(tài)監(jiān)測(cè)的指示信息獲取指定區(qū)域的包含人機(jī)界面與指示燈的圖像并傳輸至預(yù)設(shè)的集控平臺(tái)進(jìn)行識(shí)別，在獲取到識(shí)別結(jié)果時(shí)通過(guò)對(duì)人機(jī)界面進(jìn)行觸控操作來(lái)調(diào)整測(cè)試方案；

在信號(hào)通道有效時(shí)間段內(nèi)，基于狀態(tài)監(jiān)測(cè)的指示信息獲取指定區(qū)域的包含人機(jī)界面與指示燈的圖像并傳輸至預(yù)設(shè)的集控平臺(tái)進(jìn)行識(shí)別，在獲取到識(shí)別結(jié)果時(shí)通過(guò)對(duì)人機(jī)界面進(jìn)行觸控操作來(lái)調(diào)整測(cè)試方案包括：

在信號(hào)通道有效時(shí)間段內(nèi)，基于狀態(tài)監(jiān)測(cè)的指示信息采集指定區(qū)域的人機(jī)界面和與所述測(cè)試臺(tái)連接的指示燈的原始圖像并傳輸至預(yù)設(shè)的集控平臺(tái)中，以使集控平臺(tái)進(jìn)行如下識(shí)別過(guò)程：

對(duì)所述原始圖像分別按照輪廓檢測(cè)、顏色檢測(cè)以及OCR識(shí)別的方式進(jìn)行相應(yīng)的預(yù)處理，得到輪廓檢測(cè)圖像組、顏色識(shí)別圖像組以及顯示內(nèi)容識(shí)別圖像組；

將所述輪廓檢測(cè)圖像組和預(yù)先配置在集控平臺(tái)中的輪廓模板進(jìn)行匹配，得以區(qū)分指示燈區(qū)域與人機(jī)界面區(qū)域；

依據(jù)所述顏色識(shí)別圖像組進(jìn)行指示燈顏色與狀態(tài)的確定，進(jìn)而依據(jù)所述指示燈顏色與狀態(tài)確定所述測(cè)試臺(tái)的運(yùn)行狀態(tài)和待測(cè)試設(shè)備的運(yùn)行狀態(tài)；

基于預(yù)先構(gòu)建的CNN-HMM混合模型對(duì)所述顯示內(nèi)容識(shí)別圖像組進(jìn)行顯示內(nèi)容的識(shí)別；

將所述輪廓檢測(cè)圖像組、所述顏色識(shí)別圖像組以及所述顯示內(nèi)容識(shí)別圖像的處理結(jié)果進(jìn)行綜合分析，得到綜合分析結(jié)果；

其中，所述自動(dòng)接線(xiàn)的指示信息和所述自動(dòng)拆線(xiàn)的指示信息均為所述集控平臺(tái)依據(jù)待測(cè)試設(shè)備的信號(hào)點(diǎn)位信息和測(cè)試臺(tái)的信號(hào)點(diǎn)位信息生成的，且所述狀態(tài)監(jiān)測(cè)的指示信息是由所述集控平臺(tái)依據(jù)操作人員的輸入信號(hào)或預(yù)先設(shè)置的巡查表生成的。

2.如權(quán)利要求1所述的一種基于機(jī)器視覺(jué)的自動(dòng)化測(cè)試作業(yè)方法，其特征在于，基于自動(dòng)接線(xiàn)的指示信息構(gòu)建置于環(huán)境箱中的待測(cè)試設(shè)備與測(cè)試臺(tái)之間的信號(hào)通道包括：

基于所述自動(dòng)接線(xiàn)的指示信息，在所述待測(cè)試設(shè)備的信號(hào)點(diǎn)位從所述環(huán)境箱的測(cè)試孔中引出接線(xiàn)至外置的第一轉(zhuǎn)接板以及所述測(cè)試臺(tái)的信號(hào)點(diǎn)位轉(zhuǎn)接至外置的第二轉(zhuǎn)接板之后，進(jìn)行所述第一轉(zhuǎn)接板與所述第二轉(zhuǎn)接板之間的自動(dòng)接線(xiàn)和/或所述第二轉(zhuǎn)接板與所述測(cè)試臺(tái)的自動(dòng)接線(xiàn)，以實(shí)現(xiàn)所述待測(cè)試設(shè)備與所述測(cè)試臺(tái)之間的信號(hào)通道搭建。

3.如權(quán)利要求2所述的一種基于機(jī)器視覺(jué)的自動(dòng)化測(cè)試作業(yè)方法，其特征在于，基于自動(dòng)拆線(xiàn)的指示信息拆除自動(dòng)配置的置于環(huán)境箱中的所述待測(cè)試設(shè)備與所述測(cè)試臺(tái)之間的信號(hào)通道包括：

基于所述自動(dòng)拆線(xiàn)的指示信息，進(jìn)行所述第一轉(zhuǎn)接板與所述第二轉(zhuǎn)接板之間的自動(dòng)拆線(xiàn)和/或所述第二轉(zhuǎn)接板與所述測(cè)試臺(tái)的自動(dòng)拆線(xiàn)，以實(shí)現(xiàn)所述待測(cè)試設(shè)備與所述測(cè)試臺(tái)之間的當(dāng)前信號(hào)通道的斷連。

4.如權(quán)利要求1所述的一種基于機(jī)器視覺(jué)的自動(dòng)化測(cè)試作業(yè)方法，其特征在于，依據(jù)所述顏色識(shí)別圖像組進(jìn)行指示燈顏色與狀態(tài)的確定包括：

依據(jù)所述顏色識(shí)別圖像組上的顏色空間不同聚集區(qū)塊與像素值所處范圍，確定指示燈的顏色為紅色、綠色、黃色之中的任意一種；

通過(guò)統(tǒng)計(jì)預(yù)設(shè)時(shí)間段內(nèi)指示燈顏色的變化規(guī)律判斷指示燈的狀態(tài)；

若預(yù)設(shè)時(shí)間段內(nèi)指示燈在預(yù)設(shè)時(shí)間段內(nèi)均為紅色，則判斷指示燈顯示紅色狀態(tài)；

若預(yù)設(shè)時(shí)間段內(nèi)指示燈在預(yù)設(shè)時(shí)間段內(nèi)均為綠色，則判斷指示燈顯示綠色狀態(tài)；

若預(yù)設(shè)時(shí)間段內(nèi)指示燈在不同顏色之間相互變化，則判斷指示燈處于閃爍狀態(tài)；

進(jìn)而，若指示燈處于閃爍狀態(tài)時(shí)，

在顏色識(shí)別圖像組在預(yù)設(shè)時(shí)段內(nèi)截取的圖像中若存在任意相鄰的圖像之間的顯示狀態(tài)相同，則判斷指示燈為慢閃；

在顏色識(shí)別圖像組在預(yù)設(shè)時(shí)段內(nèi)截取的圖像中若不存在任意相鄰的圖像之間的顯示狀態(tài)相同，則判斷指示燈為快閃；

其中，顏色識(shí)別圖像組在預(yù)設(shè)時(shí)段內(nèi)截取的圖像為20-30張。