[發(fā)明專利]一種基于語義分割模型的圖像狀態(tài)識別方法、裝置和設(shè)備

有效

• 申請?zhí)枺?/td>: 201910942713.2
• 申請日: 2019-09-30
• 公開（公告）號: CN110751066B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 閔鋒;吳濤;李曉林;張彥鐸
• 申請（專利權(quán)）人: 武漢工程大學(xué)
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 趙秀斌

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，提供了一種基于語義分割模型的圖像狀態(tài)識別方法、裝置和圖像識別設(shè)備，該方法包括：將插銷鎖圖像輸入銷釘語義分割模型，通過銷釘語義分割模型對插銷鎖圖像進(jìn)行分割后輸出語義分割圖；將語義分割圖輸入圖像狀態(tài)識別模型，通過圖像狀態(tài)識別模型識別語義分割圖處于銷釘缺陷狀態(tài)或者銷釘完整狀態(tài)，避免使用銷釘語義分割模型識別圖像處于銷釘缺陷狀態(tài)或者銷釘完整狀態(tài)，語義分割圖支持圖像狀態(tài)識別模型快速、準(zhǔn)確地識別語義分割圖像處于銷釘缺陷狀態(tài)或者銷釘完整狀態(tài)，提高了前述銷釘缺陷狀態(tài)的識別率，有助于縮小前述銷釘缺陷狀態(tài)的識別率與前述銷釘完整狀態(tài)的識別率之間的差距。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，具體涉及一種基于語義分割模型的圖像狀態(tài)識別方法、裝置和設(shè)備。

背景技術(shù)

插銷鎖是指銷釘安裝在銷座所構(gòu)成的鎖固件，插銷鎖被廣泛應(yīng)用于緊固不同部件之間的連接處，以防不同部件相互松動，例如：開口銷安裝在接觸網(wǎng)的不同支撐懸掛裝置之間連接處的螺母上所構(gòu)成的插銷鎖。

插銷鎖主要存在缺陷狀態(tài)和完整狀態(tài)，相比于諸如銷釘在銷座上松脫和銷釘緊固在銷座上等完整狀態(tài)，缺陷狀態(tài)尤為嚴(yán)重的影響了插銷鎖的鎖固性能，為了確保插銷鎖的鎖固性能，往往以人工巡檢方式人為監(jiān)控插銷鎖處于缺陷狀態(tài)或完整狀態(tài)，人工巡檢方式需要巡檢人員投入大量人力和時間，面對大量插銷鎖，插銷鎖的監(jiān)控效率低。

為了節(jié)省巡檢人員所需投入的大量人力和時間，依據(jù)以下三種圖像識別算法識別針對插銷鎖拍攝的圖像處于銷釘缺陷狀態(tài)或銷釘完整狀態(tài)：其一，依據(jù)灰度投影算法對圖像進(jìn)行灰度值分析；其二，依據(jù)圖像形態(tài)算法對圖像進(jìn)行形態(tài)分析；其三，基于已訓(xùn)練的圖像分割算法對圖像進(jìn)行識別；依據(jù)以上三種圖像識別算法可以自動獲得用以表征圖像處于銷釘缺陷狀態(tài)或銷釘完整狀態(tài)的結(jié)果，實現(xiàn)智能化監(jiān)控插銷鎖處于缺陷狀態(tài)或完整狀態(tài)，相比于人工巡檢方式，以上三種圖像識別算法提高了插銷鎖處于缺陷狀態(tài)或完整狀態(tài)的監(jiān)控效率。

然而，受限于圖像清晰度和預(yù)處理程序(預(yù)處理程序諸如尺度歸一化和旋轉(zhuǎn)歸一化等)等因素，灰度投影算法難以兼顧圖像的分析精度和分析效率；受限于插銷鎖處于缺陷狀態(tài)與處于完整狀態(tài)的結(jié)構(gòu)差異程度和圖像的拍攝角度等因素，在圖像上分別與銷釘對應(yīng)的區(qū)域和與銷座對應(yīng)的區(qū)域所呈現(xiàn)的形態(tài)特征具有較強(qiáng)隨機(jī)性，相比于具有不明顯形態(tài)特征的圖像，圖像形態(tài)算法更適用于分析具有明顯形態(tài)特征的圖像，導(dǎo)致依據(jù)圖像形態(tài)算法識別圖像處于銷釘缺陷狀態(tài)和銷釘完整狀態(tài)具有較差的普適性；圖像分割算法需要以樣本集預(yù)先訓(xùn)練獲得，由于插銷鎖處于缺陷狀態(tài)的概率很小，樣本集中很少處于銷釘缺陷狀態(tài)的圖像，所以處于銷釘缺陷狀態(tài)的圖像和處于銷釘完整狀態(tài)的圖像在樣本集中極度不平衡，使得訓(xùn)練后的圖像分割算法識別圖像處于銷釘缺陷狀態(tài)的性能差，相比于銷釘完整狀態(tài)，使用訓(xùn)練后的圖像分割算法識別出銷釘缺陷狀態(tài)的概率偏低。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中使用訓(xùn)練后的圖像分割算法識別圖像處于銷釘缺陷狀態(tài)的概率偏低的問題，本發(fā)明提供一種基于語義分割模型的圖像狀態(tài)識別方法、裝置和設(shè)備。

本發(fā)明第一方面提供一種基于語義分割模型的圖像狀態(tài)識別方法，包括以下步驟：

將插銷鎖圖像輸入銷釘語義分割模型，通過所述銷釘語義分割模型對所述插銷鎖圖像進(jìn)行分割后輸出語義分割圖；

將所述語義分割圖輸入圖像狀態(tài)識別模型，通過所述圖像狀態(tài)識別模型識別所述語義分割圖處于銷釘缺陷狀態(tài)或者銷釘完整狀態(tài)。

本發(fā)明第二方面提供一種基于語義分割模型的圖像狀態(tài)識別裝置，包括：

語義分割模塊，用于將插銷鎖圖像輸入銷釘語義分割模型，通過所述銷釘語義分割模型對所述插銷鎖圖像進(jìn)行分割后輸出語義分割圖；

狀態(tài)識別模塊，用于將所述語義分割圖輸入圖像狀態(tài)識別模型，通過所述圖像狀態(tài)識別模型識別所述語義分割圖處于銷釘缺陷狀態(tài)或者銷釘完整狀態(tài)。