[發(fā)明專利]一種螺栓松動檢測方法及裝置

在審

• 申請?zhí)枺?/td>: 202210279968.7
• 申請日: 2022-03-22
• 公開（公告）號: CN114387268A
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 周登科;鄒祖冰;史凱特;湯鵬;于傲
• 申請（專利權(quán)）人: 中國長江三峽集團(tuán)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06V10/25;G06V10/26;G06V10/44;G06V10/82;G06N3/04
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李博洋

本發(fā)明提供了一種螺栓松動檢測方法及裝置，該方法包括：獲取待檢測螺栓的二維圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；根據(jù)二維圖像數(shù)據(jù)識別待檢測螺栓的各邊緣相對于水平線的測量平均角度；根據(jù)深度圖像數(shù)據(jù)中待檢測螺栓所在區(qū)域的像素點(diǎn)計(jì)算待檢測螺栓的測量距離；將測量平均角度和測量距離分別與待檢測螺栓在初始狀態(tài)下的初始平均角度和初始測量距離進(jìn)行比較，根據(jù)比較結(jié)果判定待檢測螺栓是否處于松動狀態(tài)。通過執(zhí)行本發(fā)明不需要人工標(biāo)注防松線即可實(shí)現(xiàn)對待檢測螺栓松動狀態(tài)的檢測，提高了松動狀態(tài)的檢測效率，以及檢測結(jié)果的可靠性，并且，通過本發(fā)明結(jié)合三維距離的測量同時(shí)實(shí)現(xiàn)了對待檢測螺栓橫向松動和縱向松動的檢測，提高了螺栓松動檢測的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺檢測與測量技術(shù)領(lǐng)域，具體涉及一種螺栓松動檢測方法及裝置。

背景技術(shù)

螺栓連接是鋼結(jié)構(gòu)中一種基本的連接方式，因具有結(jié)構(gòu)簡單、成本低廉、安裝方便等優(yōu)點(diǎn)而被廣泛應(yīng)用于電力、鐵路、車輛、橋梁、工程設(shè)備等領(lǐng)域，在使用過程中由于受振動、腐蝕和沖擊等因素的影響，很容易引起螺栓緊固件的松動、變形、斷裂或脫落，從而引起設(shè)備故障，甚至重大事故。所以，對螺栓的松動檢查一直是工程設(shè)備檢查維護(hù)的重要項(xiàng)目。

傳統(tǒng)的螺栓松動檢測主要依靠人工定期檢查，在安裝螺栓的初期，檢修工人通過手動標(biāo)注標(biāo)記線，檢修時(shí)通過觀察螺栓上的標(biāo)記線的位置是否發(fā)生錯(cuò)動來判斷螺栓松動的發(fā)生。然而，該方法檢測效率低下且十分危險(xiǎn)，尤其當(dāng)螺栓的位置很難靠近時(shí)，這種檢測往往難以進(jìn)行。隨著計(jì)算機(jī)視覺算法的應(yīng)用，檢修人員通過圖像處理算法識別螺栓的防松線，進(jìn)而判斷螺栓的松動情況，這種方法替換了傳統(tǒng)人工識別的過程，但是在識別前需要人工標(biāo)注防松線，當(dāng)螺栓防松線掉色后難以識別導(dǎo)致檢測失敗，并且基于二維圖像的螺栓松動檢測方法，由于不包含深度信息，無法測量出螺栓的松動的縱向位移。

發(fā)明內(nèi)容

因此，本發(fā)明要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)中檢測螺栓松動狀態(tài)的方法可靠性較差的缺陷，從而提供一種螺栓松動檢測方法及裝置。

本發(fā)明第一方面提供了一種螺栓松動檢測方法，包括：獲取待檢測螺栓的二維圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；根據(jù)二維圖像數(shù)據(jù)識別待檢測螺栓的各邊緣相對于水平線的測量平均角度；將深度圖像數(shù)據(jù)中的像素點(diǎn)與二維圖像數(shù)據(jù)中的像素點(diǎn)進(jìn)行匹配，得到像素點(diǎn)匹配結(jié)果，并根據(jù)像素點(diǎn)匹配結(jié)果以及待檢測螺栓在二維圖像數(shù)據(jù)中的位置，在深度圖像數(shù)據(jù)中確定待檢測螺栓所在區(qū)域；根據(jù)深度圖像數(shù)據(jù)中待檢測螺栓所在區(qū)域的像素點(diǎn)計(jì)算待檢測螺栓的測量距離；將測量平均角度和測量距離分別與待檢測螺栓在初始狀態(tài)下的初始平均角度和初始測量距離進(jìn)行比較，若測量平均角度與初始平均角度的絕對差值大于第一預(yù)設(shè)值，和/或，測量距離與初始測量距離的絕對差值大于第二預(yù)設(shè)值，判定待檢測螺栓處于松動狀態(tài)。

可選地，在本發(fā)明提供的螺栓松動檢測方法中，根據(jù)二維圖像數(shù)據(jù)識別待檢測螺栓的各邊緣相對于水平線的測量平均角度，包括：將二維圖像數(shù)據(jù)輸入至預(yù)先訓(xùn)練的螺栓分割模型中，識別二維圖像數(shù)據(jù)中的待檢測螺栓，并對二維圖像數(shù)據(jù)中的待檢測螺栓進(jìn)行分割，得到待檢測螺栓的掩膜區(qū)域；對待檢測螺栓的掩膜區(qū)域進(jìn)行邊緣檢測，并檢測待檢測螺栓的邊緣直線，得到待檢測螺栓各邊的邊緣直線方程；根據(jù)各邊緣直線方程與二維圖像數(shù)據(jù)的圖像像素坐標(biāo)系x軸正方向之間的夾角，計(jì)算待檢測螺栓的各邊緣相對于水平線的測量平均角度。

可選地，在本發(fā)明提供的螺栓松動檢測方法中，螺栓分割模型通過對改進(jìn)的MaskRCNN模型進(jìn)行訓(xùn)練得到；改進(jìn)的Mask RCNN模型包括全卷積網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)；特征金字塔網(wǎng)絡(luò)包括至少一個(gè)金字塔層，每個(gè)金字塔層連接有一個(gè)空洞卷積層；空洞卷積層包含多種不同擴(kuò)張率的空洞卷積核；全卷積網(wǎng)絡(luò)中包括多個(gè)卷積層和池化層；所述全卷積網(wǎng)絡(luò)中使用的卷積層使用多種不同擴(kuò)張率的空洞卷積核；區(qū)域建議網(wǎng)絡(luò)包含不同尺寸的錨點(diǎn)框；區(qū)域建議網(wǎng)絡(luò)使用非極大值抑制方法篩選感興趣區(qū)域。

可選地，在本發(fā)明提供的螺栓松動檢測方法中，訓(xùn)練所述螺栓分割模型時(shí)所使用的損失函數(shù)為： ，