[發(fā)明專(zhuān)利]一種自由拍攝視角的水尺水位機(jī)器視覺(jué)檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202211453329.4
• 申請(qǐng)日: 2022-11-21
• 公開(kāi)（公告）號(hào): CN115578695B
• 公開(kāi)（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 金建輝;謝智峰;李盛洪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 昆明理工大學(xué)
• 主分類(lèi)號(hào): G06V20/52
• 分類(lèi)號(hào): G06V20/52;G06V20/62;G06V10/22;G06V10/82;G06V10/24;G06V10/56;G06V10/764;G06V10/80
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種自由拍攝視角的水尺水位機(jī)器視覺(jué)檢測(cè)方法，其特征在于，包括以下步驟：

步驟S1：從前端水尺圖像采集攝像機(jī)中獲取一幅自由拍攝視角包含目標(biāo)水尺的待檢測(cè)圖像；

步驟S2：對(duì)待檢測(cè)圖像進(jìn)行多色彩空間融合圖像增強(qiáng)；

步驟S3：利用改進(jìn)型YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)增強(qiáng)后圖像中水尺區(qū)域、水尺上的數(shù)字標(biāo)識(shí)、左側(cè)E字符、右側(cè)E字符以及殘缺E字符進(jìn)行檢測(cè)；

所述改進(jìn)型YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)是指在原始YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)的特征提取的末尾位置加入根據(jù)ECA模塊改進(jìn)的SDECA模塊，所述SDECA模塊引入空洞卷積并結(jié)合原始卷積用于通道注意力機(jī)制計(jì)算，同時(shí)利用全局軟池化層替代原始模塊中的全局平均池化層，計(jì)算表達(dá)式如下：

式中，W_i表示特征圖中第i點(diǎn)所占權(quán)重，a_i表示特征圖中第i點(diǎn)的值，a_j表示特征圖中第j點(diǎn)的值，R表示特征圖，表示經(jīng)全局軟池化后的值；

在原始ECA模塊的基礎(chǔ)上，引入了空洞卷積并結(jié)合原始卷積用于通道注意力機(jī)制計(jì)算，卷積核的大小通過(guò)下式計(jì)算：

k＝2×k_d-1

式中，k_d表示空洞卷積核的大小，k表示普通卷積核的大小，C表示通道數(shù)，b＝1，γ＝2；

步驟S4：對(duì)步驟S3得到的檢測(cè)結(jié)果進(jìn)行過(guò)濾，并補(bǔ)全漏檢結(jié)果；

先對(duì)所述所有檢測(cè)結(jié)果進(jìn)行初篩，濾除置信度得分低于0.5的檢測(cè)結(jié)果，再分類(lèi)別對(duì)初篩的檢測(cè)結(jié)果進(jìn)一步篩選；

對(duì)水尺區(qū)域的檢測(cè)結(jié)果進(jìn)行過(guò)濾，濾除面積低于閾值A(chǔ)rea_min的檢測(cè)框，得到水尺區(qū)域的檢測(cè)結(jié)果；

對(duì)水尺上的數(shù)字標(biāo)識(shí)的檢測(cè)結(jié)果進(jìn)行過(guò)濾，首先根據(jù)位置信息判別當(dāng)前數(shù)字標(biāo)識(shí)所屬的水尺區(qū)域，再判斷數(shù)字標(biāo)識(shí)是否包含在水尺的左側(cè)區(qū)域以及外邊框是否處于水尺區(qū)域內(nèi)，如果兩者均為是則保留，否則濾除，重復(fù)執(zhí)行以上兩步，直至得到最終水尺上的數(shù)字標(biāo)識(shí)的檢測(cè)結(jié)果；

對(duì)左側(cè)E字符的檢測(cè)結(jié)果進(jìn)行過(guò)濾，首先通過(guò)位置信息判斷左側(cè)E字符所屬的水尺區(qū)域，再判斷左側(cè)E字符是否位于水尺區(qū)域的左側(cè)以及外邊框是否處于水尺區(qū)域內(nèi)，如果兩者均為是則保留，否則濾除，重復(fù)執(zhí)行以上兩步，直至得到最終左側(cè)E字符的檢測(cè)結(jié)果；

對(duì)右側(cè)E字符的檢測(cè)結(jié)果進(jìn)行過(guò)濾，首先通過(guò)位置信息判斷右側(cè)E字符所屬的水尺區(qū)域，再判斷右側(cè)E字符是否位于水尺區(qū)域的右側(cè)以及外邊框是否處于水尺區(qū)域內(nèi)，如果兩者均為是則保留，否則濾除，重復(fù)執(zhí)行以上兩步，直至得到最終右側(cè)E字符的檢測(cè)結(jié)果；

對(duì)殘缺E字符的檢測(cè)結(jié)果進(jìn)行過(guò)濾，具體為根據(jù)優(yōu)先級(jí)進(jìn)行判斷，保留當(dāng)前殘缺E字符所處區(qū)域內(nèi)最高優(yōu)先級(jí)的檢測(cè)結(jié)果，優(yōu)先級(jí)的高低根據(jù)殘缺E字符的完整度高低對(duì)應(yīng)排序，經(jīng)過(guò)濾后得到最終的殘缺E字符的檢測(cè)結(jié)果；

步驟S5：根據(jù)步驟S4中水尺區(qū)域的檢測(cè)結(jié)果將水尺區(qū)域從包含目標(biāo)水尺的待檢測(cè)圖像中分離出來(lái)，同時(shí)提取包含在該水尺區(qū)域中的左側(cè)E字符和右側(cè)E字符檢測(cè)結(jié)果中的位置坐標(biāo)信息，再結(jié)合該水尺區(qū)域內(nèi)的數(shù)字標(biāo)識(shí)信息與殘缺E字符的類(lèi)型得到預(yù)估水位值；

步驟S6：分別計(jì)算步驟S3中所有左側(cè)和右側(cè)E字符的中心點(diǎn)坐標(biāo)，然后分別計(jì)算左側(cè)和右側(cè)中心點(diǎn)直線的斜率，最后通過(guò)兩條直線斜率的均值對(duì)水尺進(jìn)行傾斜校正；

步驟S7：從校正后的水尺圖像中位于最下方的一個(gè)完整E字符的下邊緣位置往下截取一個(gè)完整E字符長(zhǎng)度的區(qū)域進(jìn)行縮放處理，再利用基于LeNet的結(jié)構(gòu)自建分類(lèi)網(wǎng)絡(luò)進(jìn)行分類(lèi)，如果分類(lèi)與步驟S5中用于計(jì)算水位值的殘缺E字符的類(lèi)型相同則保持原有水位值，反之則更新為利用校正后的水尺圖像得到的水位值。

2.根據(jù)權(quán)利要求1所述的自由拍攝視角的水尺水位機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述自由拍攝視角包含目標(biāo)水尺的待檢測(cè)圖像為不同拍攝條件下獲取到的不同水尺狀態(tài)的圖像；所述不同拍攝條件包括：攝像機(jī)與水尺的相對(duì)位置不同、攝像機(jī)拍攝角度不同，或者滿足攝像機(jī)不同。